機率空間

機率空間是機率論的基礎。機率的嚴格定義基于這個概念。

定義

機率空間 $(\Omega ,{\mathcal {F}},P)$ 是一個總測度為1的測度空間（即 $P(\Omega )=1$）。

第一項 $\Omega$ 是一個非空集合，稱作樣本空間。$\Omega$ 里的元素稱作结果或樣本輸出，可寫作ω。

第二項 ${\mathcal {F}}$ 是一个 σ-代數。事件是樣本空間 $\Omega$ 的子集，${\mathcal {F}}$ 由事件构成，是樣本空間 $\Omega$ 冪集 $2^{\Omega }$ 的一個非空子集。集合 ${\mathcal {F}}$ 必須是一個σ-代數，即满足下面三个性质:

1. ${\mathcal {F}}$ 包含全集，即 $\Omega {\in }{\mathcal {F}}$；
2. 若 $A{\in }{\mathcal {F}}$，則补集 ${\bar {A}}{\in }{\mathcal {F}}$；
3. ${\mathcal {F}}$ 对可数并封闭，即对于 $A_{n}{\in }{\mathcal {F}}$，$n=1,2,...$，那么$\bigcup _{n=1}^{\infty }A_{n}{\in }{\mathcal {F}}$

空间 $(\Omega ,{\mathcal {F}})$ 稱為可測空間，在此集合上可定義其機率测度。

第三項 $P$ 稱為機率，或者機率測度。這是一個從集合 ${\mathcal {F}}$ 到實數域 $\mathbb {R}$ 的函數。概率测度 $P:{\mathcal {F}}{\to }\mathbb {R}$ 需要满足

1. 可数可加性：如果 $\{A_{i}\}_{i=1}^{\infty }\subset {\mathcal {F}}$ 为两两不交的集合，那么 $P\left(\bigcup _{i=1}^{\infty }A_{i}\right)=\sum _{i=1}^{\infty }P(A_{i})$。
2. 全空间的概率为 1，即 $P(\Omega )=1$。

機率測度給每個事件賦予一個 0 和 1 之間的機率值。

機率測度經常以粗體表示，例如 $\mathbb {P}$ 或 $\mathbf {P}$ ，也可用符號 $\Pr$ 來表示。

離散模式

離散機率理論僅需要可數集的樣本空間 $\Omega$。機率指的是由機率質量函數 $p:\Omega \to [0,1]$求得$\Omega$上的使得 $\sum _{\omega \in \Omega }p(\omega )=1$ 的點。$\Omega$ 全部的子集合可視為隨機事件（也就是${\mathcal {F}}=2^{\Omega }$為冪集）。機率測度可簡寫為$$(*)\qquad P(A)=\sum _{\omega \in A}p(\omega )\quad {\text{for all }}A\subseteq \Omega$$

使用 σ-代數 ${\mathcal {F}}=2^{\Omega }$能夠完整描述樣本空間。一般來說，σ-代數相當於一個有限或可數的集合劃分$\Omega =B_{1}\cup B_{2}\cup \dots$，事件A的一般型$A\in {\mathcal {F}}$ 且$A=B_{k_{1}}\cup B_{k_{2}}\cup \dots$

$p(\omega )=0$是被定義允許的情況但極少使用，因為這樣的$\omega$可以安全地從樣本空間中移除。

一般模式

如果Ω不可數，存在某些ω使得p(ω) ≠ 0的情況仍然存在，那些ω稱為原子。他們大部分都是可數的集合（有可能為空集合），其可能性為所有原子機率的和。如果這個和等於1，那麼其他的點可以安全地從樣本空間中移除，回歸離散模式。反之，如果和少與1（有可能為零）那麼機率空間分解成為離散（原子）部分（可能為零），以及非原子部分。

例子

若樣本空間是關于一個機會均等的拋硬幣動作，則樣本輸出為“正面”或“反面”。事件為：

• {正面}，其機率為0.5。
• {反面}，其機率為0.5。
• { }=∅ 非正非反，其機率為0.
• {正面，反面}，不是正面就是反面，這是Ω，其機率為1。

相關概念

隨機變量

隨機變量是一個從Ω映射到另一個集合(通常是實數域R)的函數。它必須是一個可測函數。比如說，若X是一個實隨機變量，則使X為正的樣本輸出的集合{ω∈Ω:X(ω)>0}是一個事件。

為簡便起見，{ω∈Ω:X(ω)>0}經常衹寫作{X>0}。P({X>0})更被簡化為P(X>0)。

獨立

若P(A∩B)=P(A)P(B)，則A和B兩個事件是獨立的。

若任何與隨機變量X有關的事件和任何與隨機變量Y有關的事件獨立，則X和Y兩個隨機變量是獨立的。

獨立這個概念是機率論和測度論分道揚镳的地方。

互斥

若P(A∩B)=0，則稱A和B兩個事件互斥或「不相交」（這個性質要比A∩B=∅弱一些，後者是集合不相交的定義）。

若兩個事件A和B不相交，則P(A∪B)=P(A)+P(B)。這個性質可以擴展到由（有限個或者可數無限個）事件組成的事件序列。但不可數無限個事件組成的事件集合對應的機率與集合元素對應機率之和未必相等，例如若Z是正態分佈的隨機變量，則對任意x有P(Z=x)=0，但是P(Z是實數)=1。

事件A∩B的意思是A并且B；事件A∪B的意思是A或者B.