跳至內容

熵率

維基百科,自由的百科全書

概率的數學理論中,非正式地說,一個隨機過程熵率信源信息率是在一個隨機過程的平均信息的時間密度。對於一個索引可數的隨機過程,熵率 Η(X) 是 nXk 過程作為成員的聯合熵,在 n 趨向無窮時的極限:

前提是該極限存在。另一種相關量為:

對於強平穩隨機過程, 熵率可以被認為是隨機信源的一般特性;這是漸近均分割性。

馬爾可夫鏈的熵率

因為由不可約、非周期性、持久性的馬爾可夫鏈定義的隨機過程呈平穩分佈,熵率與初始分佈無關。

例如,對於在可數狀態下定義的,轉移矩陣Pij 的馬爾可夫鏈 Yk,Η(Y) 由下式給出:

其中 μi 是該鏈的平穩分佈

此定義的一個簡單結果是,一個獨立同分佈的隨機過程的熵率與該過程中的任何個別成員的相同。

參見

  • 信源(數學)
  • 馬氏信源
  • 漸近均分割性

參考文獻

外部連結