跳至內容

最大概似估計

本頁使用了標題或全文手工轉換
維基百科,自由的百科全書

統計學中,最大概似估計(英語:maximum likelihood estimation,簡作MLE),也稱極大概似估計,是用來估計一個概率模型的參數的一種方法。

預備知識

下方的討論要求讀者熟悉概率論中的基本定義,如概率分佈概率密度函數隨機變量數學期望值等。讀者還須先熟悉連續實函數的基本性質,比如使用微分來求一個函數的極值(即極大值極小值)。
同時,讀者須先擁有概似函數的背景知識,以了解最大概似估計的出發點及應用目的。

最大概似估計的原理

給定一個概率分佈,已知其概率密度函數(連續分佈)或概率質量函數(離散分佈)為,以及一個分佈參數,我們可以從這個分佈中抽出一個具有個值的採樣,利用計算出其概似函數

是離散分佈,即是在參數為時觀測到這一採樣的概率;若其是連續分佈,則為聯合分佈的概率密度函數在觀測值處的取值。一旦我們獲得,我們就能求得一個關於的估計。最大概似估計會尋找關於的最可能的值(即,在所有可能的取值中,尋找一個值使這個採樣的「可能性」最大化)。從數學上來說,我們可以在的所有可能取值中尋找一個值使得概似函數取到最大值。這個使可能性最大的值即稱為最大概似估計。由定義,最大概似估計是樣本的函數。

注意

  • 這裏的概似函數是指不變時,關於的一個函數。
  • 最大概似估計不一定存在,也不一定唯一。

推導

最大概似估計可以從相對熵推導而來。相對熵衡量了使用一個給定分佈來近似另一個分佈時的資訊損失,對於離散型隨機變量,可以用以下公式:

其中,是真實分佈,是近似分佈。在最大概似估計的情景下,假設分佈擁有一系列參數,我們希望通過樣本得到參數的估計值。我們可以利用相對熵來評判估計的好壞:

根據期望值的定義,我們可以將上式改寫為:

KL值越大,參數估計越壞,因此,需要通過改變估計參數的值來獲得最小的值,所對應的參數極為最佳估計參數。即:

假設有個樣本,根據大數定理,可以進行替換:

即,可以通過下式評估:

對於一個已知的分佈,其參數是確定的。因此,為常數。因此,我們可以通過最小化KL值獲得最佳估計參數:

因此,要得到最佳參數估計值,只需要最大化,這就是最大概似函數。對於連續型隨機變量,有相同的結論。

例子

離散分佈,離散有限參數空間

考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次(即,我們獲取一個採樣並把正面的次數記下來,正面記為H,反面記為T)。並把拋出一個正面的概率記為,拋出一個反面的概率記為(因此,這裏的即相當於上方的)。假設我們拋出了49個正面,31個反面,即49次H,31次T。假設這個硬幣是我們從一個裝了三個硬幣的盒子裏頭取出的。這三個硬幣拋出正面的概率分別為, , ,這些硬幣沒有標記,所以我們無法知道哪個是哪個。使用最大概似估計,基於二項分佈中的概率質量函數公式,通過這些試驗數據(即採樣數據),我們可以計算出哪個硬幣的可能性最大。這個概似函數取以下三個值中的一個:

我們可以看到當時,概似函數取得最大值。
顯然地,這硬幣的公平性和那種拋出後正面的概率是2/3的硬幣是最接近的。這就是的最大概似估計。

離散分佈,連續參數空間

現在假設例子1中的盒子中有無數個硬幣,對於中的任何一個, 都有一個拋出正面概率為的硬幣對應,我們來求其概似函數的最大值:

其中. 我們可以使用微分法來求極值。方程兩邊同時對微分,並使其為零。

在不同比例參數值下一個二項式過程的可能性曲線t = 3, n = 10;其最大概似估計值發生在其眾數並在曲線的最大值處。

其解為, ,以及.使可能性最大的解顯然是(因為這兩個解會使可能性為零)。因此我們說最大概似估計值.

這個結果很容易一般化。只需要用一個字母代替49用以表達伯努利試驗中的被觀察數據(即樣本)的「成功」次數,用另一個字母代表伯努利試驗的次數即可。使用完全同樣的方法即可以得到最大概似估計值:

對於任何成功次數為,試驗總數為的伯努利試驗。

連續分佈,連續參數空間

最常見的連續概率分佈正態分佈,其概率密度函數如下:

現在有個正態隨機變量的採樣點,要求的是一個這樣的正態分佈,這些採樣點分佈到這個正態分佈可能性最大(也就是概率密度積最大,每個點更靠近中心點),其個正態隨機變量的採樣的對應密度函數(假設其獨立並服從同一分佈)為:

也可以寫為:

,

這個分佈有兩個參數:.有人可能會擔心兩個參數與上方的討論的例子不同,上方的例子都只是在一個參數上對可能性進行最大化。實際上,在兩個參數上的求最大值的方法也差不多:只需要分別把可能性在兩個參數上最大化即可。當然這比一個參數麻煩一些,但是一點也不複雜。使用上方例子同樣的符號,我們有.

最大化一個概似函數同最大化它的自然對數是等價的。因為自然對數log是一個連續且在概似函數的值域嚴格遞增的上凹函數。[注意:可能性函數(概似函數)的自然對數跟資訊熵以及費雪訊息聯繫緊密。]求對數通常能夠一定程度上簡化運算,比如在這個例子中可以看到:

這個方程的解是.這的確是這個函數的最大值,因為它是裏頭惟一的一階導數等於零的點並且二階導數嚴格小於零。

同理,我們對求導,並使其為零。

這個方程的解是.

因此,其關於最大概似估計為:

.

性質

泛函不變性(Functional invariance)

如果的一個最大概似估計,那麼的最大概似估計是。函數g無需是一個對射[1]

漸近線行為

最大概似估計函數在採樣樣本總數趨於無窮的時候達到最小方差,其證明可見於克拉馬-羅下限英語Cramér–Rao bound。當最大概似估計非偏時,等價的,在極限的情況下我們可以稱其有最小的均方差。 對於獨立的觀察來說,最大概似估計函數經常趨於正態分佈

偏差

最大概似估計的偏差是非常重要的。考慮這樣一個例子,標有張票放在一個盒子中。從盒子中隨機抽取票。如果是未知的話,那麼的最大概似估計值就是抽出的票上標有的,儘管其期望值的只有.為了估計出最高的值,我們能確定的只能是值不小於抽出來的票上的值。

歷史

最大概似估計最早是由羅納德·費雪在1912年至1922年間推薦、分析並大範圍推廣的。[2](雖然以前高斯拉普拉斯、托瓦爾·尼古拉·蒂勒和F. Y. 埃奇沃思也使用過)。[3] 許多作者都提供了最大概似估計發展的回顧。[4]

大部分的最大概似估計理論都在貝氏統計中第一次得到發展,並被後來的作者簡化。[2]

參見

  • 關於拉奧-布萊克韋爾定理(Rao-Blackwell theorem)的文章中討論到如何利用Rao-Blackwellisation過程尋找最佳無偏估計(即使均方差最小)的方法。而最大概似估計通常是一個好的起點。
  • 讀者可能會對最大概似估計(如果存在)總是一個關於參數的充分統計量(sufficient statistic)的函數感興趣。
  • 最大概似估計跟廣義矩估計(generalized method of moments)有關。

參考文獻

  1. ^ 請參見George Casella與Roger L. Berger所著的Statistical Inference定理Theorem 7.2.10的證明。(中國大陸出版的大部分教材上也可以找到這個證明。)
  2. ^ 2.0 2.1 Pfanzagl (1994)
  3. ^ Edgeworth & September 1908 and Edgeworth & December 1908
  4. ^ Savage (1976), Pratt (1976), Stigler (1978, 1986, 1999, Hald (1998, 1999, and Aldrich (1997)

外部連結