归一化常数

归一化常数（英语：Normalizing constant）的概念主要来自于数学上的几率论及其他分支。

定义

根据几率论中的描述及定义，一个归一化常数是对于任何非负函数的任意区间所含有之常数使得该函数对于一特定区间之积分恰好等于1。通常加入该常数之目的为将该函数转变为一几率密度函数或几率质量函数。^[1]^[2]

举个例子，如果假定

p(x)=e^{-x^{2}/2},x\in (-\infty ,\infty )

可以推得

\int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},

如果我们假定函数 $\varphi (x)$ 作为

\varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}

使得

\int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1

函数 $\varphi (x)$ 即是一几率密度函数，^[3] 也是一个标准的正态分布^{[注 1]}

而常数 ${\frac {1}{\sqrt {2\pi \,}}}$ 就是前面函数 $p(x)$ 中所谓的归一化常数。

第二个例子，对于已知

\sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },

而相对的

f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}

则是一个对于所有非负整数之集合的几率质量函数。^[4]这就是假定期望值为 λ的泊松分布之几率质量函数。^{[注 2]}

贝氏定理说明一个随机事件的后验几率正比于先验几率与相似度的乘积。前言所述之“正比于”表示该定理或方程式亦须一归一化常数以便进行几率运算。以另一简单离散的事件为范例：

P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}

其中 P(H₀) 即是假设 H₀ 为真之几率；(D|H₀)则是在数据样本下假设为真时的条件几率，然而该数据样本已知为原假设的似然函数。P(H₀|D)是假设为真下的后验几率。P(D)应是产生数据样本的几率，但是其本身有计算上的困难，故我们常用另外一种描述来取代原本的方程式：

P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).

因为P(H|D)是一个几率，它的所有假设为真几率总和应为1。此可推导出一个结论：

P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.

因此，

P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;

即是归一化常数^[5]。这可以被推导至非常多的假设领域并将原本不可计算之几率成另一种以 &Sigma表现之形式。

^ 期望值等于0，变异数等于1
^ 如果一些几率密度函数拥有多个参数，它的归一化常数求法也是相同的。其中非常著名的波兹曼分布函数中的参数化归一化常数在统计力学中有非常重要的地位。在统计力学中，这个常数被称为配分函数