概似函數

「likelihood function」的各地常用名稱
中國大陸	似然函數
臺灣	概似函數

在數理統計學中，概似函數（英語：likelihood function）是一種關於統計模型中的母數的函數，表示模型母數中的概似性（英語：likelihood）。概似函數在統計推論中有重大作用，如在最大概似估計和費雪資訊之中的應用等等。文字意義上，「概似性」與「或然性」或「機率」意思相近，都是指某種事件發生的可能性，但是在統計學中，「概似性」和「機率」（或然性）有明確的區分：機率，用於在已知一些母數的情況下，預測接下來在觀測上所得到的結果；概似性，則是用於在已知某些觀測所得到的結果時，對有關事物之性質的母數進行估值，也就是說已觀察到某事件後，對相關母數進行猜測。

在這種意義上，概似函數可以理解為條件機率的逆反。在已知某個母數B時，事件A會發生的機率寫作：

$P(A\mid B)={\frac {P(A,B)}{P(B)}}\!$

利用貝氏定理，

$P(B\mid A)={\frac {P(A\mid B)\;P(B)}{P(A)}}\!$

因此，我們可以反過來構造表示概似性的方法：已知有事件A發生，運用概似函數$\mathbb {L} (B\mid A)$，我們估計或猜測母數B的不同值的可能性。形式上，概似函數也是一種條件機率函數，但我們關注的變量改變了：

$b\mapsto P(A\mid B=b)\!$

注意到這裡並不要求概似函數滿足歸一性：$\sum _{b\in {\mathcal {B}}}P(A\mid B=b)=1$。一個概似函數乘以一個正的常數之後仍然是概似函數。對所有$\alpha >0$，都可以有概似函數：

$L(b\mid A)=\alpha \;P(A\mid B=b)\!$

例子

考慮投擲硬幣的實驗。通常來說，已知擲出一枚「公平的硬幣」（即正面朝上和反面朝上的機率相同）時，正面（Head）朝上的機率為$p_{H}=0.5$，我們可以此推論得知投擲若干次後出現各種結果的可能性。比如說，連續投兩次都是正面朝上的機率是$0.25$。用條件機率表示，就是：

$P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25$

其中${\mbox{H}}$表示正面朝上。

在統計學中，我們更關心的是在已知一系列投擲的結果時，關於單獨投擲一次硬幣時正面朝上的機率（即$p_{H}$）爲何。我們實際上是無法從一系列投擲的結果來逆推真實的$p_{H}$，但是我們可以推估$p_{H}$是某個值的可能性爲何。舉例來說，假設因爲這可能不是一枚真正「公平的硬幣」，所以我們不知道$p_{H}$是多少，也無法計算投擲三次硬幣其中兩次是正面的機率是多少。現在如果我們真的實際去擲了三次硬幣，結果其中兩次爲正面，那我們是否能夠依此次實驗逆推出$p_{H}$的資訊？如果無法逆推出真實的$p_{H}$，那我們有沒有辦法知道，譬如說$p_{H}=0.5$的可能性爲何？$p_{H}=0.6$的可能性又爲何？或甚至再更退一步，至少我們能不能知道$p_{H}=0.5$跟$p_{H}=0.6$哪一個比較有可能？

投擲一次硬幣，正面朝上的機率用$p_{H}$來代表，它就是我們這個例子的母數，而我們用事件${\mbox{A}}$來代表投擲三次硬幣其中兩次是正面這個事實。使用聯合機率（英語：joint probability）計算可知

$P({\mbox{A}}\mid p_{H})=3\times p_{H}^{2}\times (1-p_{H})$

我們首先假設$p_{H}=0.5$，則看到三次投擲中兩次是正面的機率爲$P({\mbox{A}}\mid p_{H}=0.5)=0.375$。再來如果假設$p_{H}=0.6$，則看到三次投擲中兩次是正面的機率爲$P({\mbox{A}}\mid p_{H}=0.6)=0.432$。顯然地，如果$p_{H}=0.6$的話，我們看到兩個正面的機會比較高。所以當我們投擲了三次硬幣並且看到了兩次正面，即使我們無法知道實際$p_{H}$到底是多少，我們至少知道$p_{H}$是$0.6$的可能性比是$0.5$的可能性還要高。我們可以合理猜測，$p_{H}$比較可能是$0.6$而非$0.5$。

這裏我們就引進了概似性的概念：概似性代表某個母數爲特定值的可能性。從上面例子得知在已觀察到事件${\mbox{A}}$的情況下，關於事件A的概似估計為

$L(p_{H}\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H})$

其中$p_{H}$為我們所要確定的母數。所以當我們投擲硬幣三次，其中兩次是正面，則$p_{H}=0.5$的概似性是$L(p_{H}=0.5\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.5)=0.375$，而$p_{H}=0.6$的概似性是$L(p_{H}=0.6\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.6)=0.432$。注意，$L(p_{H}=0.5\mid {\mbox{A}})=0.375$並不是說當已知${\mbox{A}}$發生了，則$p_{H}$爲$0.5$的機率是$0.375$。概似性跟機率具有不同的意義。

若單獨看$0.375$這個數字或$0.432$這個數字是沒有意義的，因爲概似性並不是機率，並不是一定介於$0$到$1$之間，而所有可能的$p_{H}$的概似性加起來也不是$1$，所以單獨得知$L(p_{H}=0.5\mid {\mbox{A}})=0.375$是沒有意義的。概似性是用在把各種可能的$p_{H}$值放在一起比較，來得知哪個$p_{H}$值的可能性比較高。而概似函數（在這個例子中，即$L(p_{H}\mid {\mbox{A}})=3\times p_{H}^{2}\times (1-p_{H})$），除了用來計算概似性外，則是用來瞭解當母數$p_{H}$改變時，概似性怎麼變化，用來尋找最大可能性的$p_{H}$值會是多少。

圖1. 兩次投擲都正面朝上時的概似函數

圖2. 三次投擲中頭兩次正面朝上，第三次反面朝上時的概似函數

圖1所示爲連續擲兩次硬幣都爲正面的情況下（即此節開頭的事件${\mbox{HH}}$），$p_{H}$從$0$到$1$的概似性。我們可以看出最大概似性發生在$p_{H}=1$，所以當我們投擲硬幣兩次，兩次都正面時，我們可以猜說$p_{H}$最有可能是$1$（即使實際上$p_{H}$也許是$0.5$，但我們無法知道這件事)。圖2則爲投擲硬幣三次，其中兩次爲正面、一次爲反面的情況下，$p_{H}$從$0$到$1$的概似性。最大概似性發生在$p_{H}={\frac {2}{3}}$。所以當我們擲了三次硬幣得到兩次正面，最合理的猜測應該是$p_{H}={\frac {2}{3}}$（同理，也許實際上$p_{H}=0.5$，但我們無從得知，所以只能做「最合理」猜測）。

我們可以得到一個結論：

      对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

應用

最大概似估計

主條目：最大概似估計

最大概似估計是概似函數最初也是最自然的應用。上文已經提到，概似函數取得最大值表示相應的母數能夠使得統計模型最為合理。從這樣一個想法出發，最大概似估計的做法是：首先選取概似函數（一般是機率密度函數或機率質量函數），整理之後求最大值點。實際應用中一般會取概似函數的對數作為求最大值的函數，這樣求出的最大值點和直接求最大值點得到的結果是相同的。概似函數的最大值點不一定唯一，也不一定存在。與矩法估計比較，最大概似估計的精確度較高，資訊損失較少，但計算量較大。

概似比檢定

主條目：概似比檢定

概似比檢定是利用概似函數來檢測某個假設（或限制）是否有效的一種檢定。一般情況下，要檢測某個附加的母數限制是否是正確的，可以將加入附加限制條件的較複雜模型的概似函數最大值與之前的較簡單模型的概似函數最大值進行比較。如果母數限制是正確的，那麼加入這樣一個母數應當不會造成概似函數最大值的大幅變動。一般使用兩者的比例來進行比較，這個比值是卡方分配。

尼曼-皮爾森引理說明，概似比檢定是所有具有同等顯著性差異的檢定中最有統計效力的檢定。

參考來源

• Stephen Stigler. Francis Ysidro Edgeworth, Statistician. Journal of the Royal Statistical Society. Series A (General). 1978, 141 (3): 287–322. JSTOR 2344804. （頁面存檔備份，存於網際網路檔案館）
• Stephen Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. 1986. ISBN 0-674-40340-1. 
• Stephen Stigler. Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. 1999. ISBN 0-674-83601-4. 
• Anders Hald. On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science. 1999-05, 14 (2): 214–222 [2023-01-18]. JSTOR 2676741. （原始內容存檔於2016-03-05）. 
• Hald, A. A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. 1998.