此条目需要
精通或熟悉相关主题的编者 参与及协助编辑。
(2014年12月17日 ) 请邀请 适合的人士改善本条目 。更多的细节与详情请参见讨论页 。
在计算机视觉 中，基础矩阵 （Fundamental matrix）
F
{\displaystyle \mathrm {F} }
矩阵 ，表达了立体像对 的像点 之间的对应关系。在对极几何 中，对于立体像对中的一对同名点 ，它们的齐次化图像坐标分别为
p
{\displaystyle p}
p
′
{\displaystyle p'}
F
p
{\displaystyle \mathrm {F} p}
p
′
{\displaystyle p'}
极线 ）。这意味着立体像对的所有同名点对都满足：
p
′
⊤
F
p
=
0
{\displaystyle p'^{\top }\mathrm {F} p=0}
F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。因为
F
{\displaystyle \mathrm {F} }
基础矩阵这一概念由Q. T. Luong在他那篇很有影响力的博士毕业论文[ 1] [ 2]
F
{\displaystyle \mathrm {F} }
本质矩阵 也满足类似的关系式，但本质矩阵中并不蕴含相机检校参数。本质矩阵与基础矩阵之间的关系可由下式表达：
E
=
K
′
⊤
F
K
{\displaystyle \mathrm {E} =\mathrm {K'^{\top }} \mathrm {FK} }
其中
K
{\displaystyle \mathrm {K} }
K
′
{\displaystyle \mathrm {K'} }
基础矩阵有许多种推导方式，下面介绍其中一种。
图1 在双相机的拍摄场景中建立一个空间直角坐标系，称为世界坐标系（如图1中蓝色坐标系）。物点就是场景中物体表面上的点，比如说点
P
{\displaystyle P}
(
X
,
Y
,
Z
)
⊤
{\displaystyle (X,Y,Z)^{\top }}
相机的光心从物理上讲就是相机镜头组的光学中心。以光心为原点，主光轴为Z轴建立空间直角坐标系，称为相机坐标系（如图1中绿色和红色坐标系）。像平面在相机坐标系中的方程即为z=1，像点就是在物点在像平面上的投影 ，这个投影关系是透视投影 。
用一句话来概括相机的拍摄模型，就是物点、像点、光心三点一线，此模型称为针孔相机模型。在此模型中，世界坐标系到左右相机坐标系的变换是刚性变换，即只包含旋转和平移，因此我们分别用增广矩阵
[
R
|
t
]
{\displaystyle [R|t]}
[
R
′
|
t
′
]
{\displaystyle [R'|t']}
R
{\displaystyle R}
R
′
{\displaystyle R'}
3
×
3
{\displaystyle 3\times 3}
t
{\displaystyle t}
t
′
{\displaystyle t'}
P
~
{\displaystyle {\widetilde {P}}}
P
c
a
m
(
X
C
,
Y
C
,
Z
C
)
⊤
=
[
R
|
t
]
P
~
{\displaystyle P_{cam}(X_{C},Y_{C},Z_{C})^{\top }=[R|t]{\widetilde {P}}}
P
c
a
m
′
(
X
C
′
,
Y
C
′
,
Z
C
′
)
⊤
=
[
R
′
|
t
′
]
P
~
{\displaystyle P'_{cam}(X_{C'},Y_{C'},Z_{C'})^{\top }=[R'|t']{\widetilde {P}}}
图2 以一台相机为例，如图2所示，
C
{\displaystyle C}
Z
{\displaystyle Z}
P
~
{\displaystyle {\widetilde {P}}}
p
{\displaystyle p}
x
=
(
f
x
X
C
Z
C
+
x
0
,
)
⊤
{\displaystyle x=\left({\frac {f_{x}X_{C}}{Z_{C}}}+x_{0},\right)^{\top }}
y
=
(
f
y
Y
C
Z
C
+
y
0
,
)
⊤
{\displaystyle y=\left({\frac {f_{y}Y_{C}}{Z_{C}}}+y_{0},\right)^{\top }}
式中
(
x
0
,
y
0
,
f
)
{\displaystyle (x_{0},y_{0},f)}
设两相机内参数矩阵同为：
K
=
[
f
x
0
p
c
x
0
f
y
p
c
y
0
0
1
]
,
{\displaystyle K=\left[{\begin{array}{ccc}f_{x}&0&{p_{c}}_{x}\\0&f_{y}&{p_{c}}_{y}\\0&0&1\end{array}}\right],}
那么物点与像点之间的关系为：
p
=
1
Z
C
K
P
c
a
m
=
1
Z
C
K
[
R
|
t
]
P
,
{\displaystyle p={\frac {1}{Z_{C}}}KP_{cam}={\frac {1}{Z_{C}}}K[R|t]P,}
p
′
=
1
Z
C
K
P
c
a
m
′
=
1
Z
C
K
[
R
′
|
t
′
]
P
,
{\displaystyle p'={\frac {1}{Z_{C}}}KP'_{cam}={\frac {1}{Z_{C}}}K[R'|t']P,}
将
P
=
[
R
|
t
]
+
P
c
a
m
=
Z
C
′
K
[
R
|
t
]
+
p
{\displaystyle P=[R|t]^{+}P_{cam}=Z'_{C}K[R|t]^{+}p}
H
π
=
K
[
R
′
|
t
′
]
K
[
R
|
t
]
+
{\displaystyle H_{\pi }=K[R'|t']K[R|t]^{+}}
p
′
=
Z
C
′
Z
C
H
π
p
{\displaystyle p'={\frac {Z'_{C}}{Z_{C}}}H_{\pi }p}
由于物点、像点、光心三点一线，那么物点、一对同名点和2个光心这5个点一定处于同一个平面上，我们将这个平面称为𝜋平面。𝜋平面和像平面的交线称为极线
l
′
{\displaystyle l'}
p
{\displaystyle p}
l
′
{\displaystyle l'}
p
′
{\displaystyle p'}
l
′
{\displaystyle l'}
e
′
{\displaystyle e'}
在右片像平面内，极线
l
′
{\displaystyle l'}
A
x
+
B
y
+
C
=
0
{\displaystyle Ax+By+C=0}
(
A
,
B
,
C
)
⊤
⋅
(
x
,
y
,
1
)
⊤
=
0
{\displaystyle (A,B,C)^{\top }\cdot (x,y,1)^{\top }=0}
因此，我们可以用一个三维向量
(
A
,
B
,
C
)
{\displaystyle (A,B,C)}
l
′
{\displaystyle l'}
l
′
{\displaystyle l'}
e
′
{\displaystyle e'}
p
′
{\displaystyle p'}
l
′
:
e
′
×
p
′
=
[
e
′
]
×
p
′
{\displaystyle l':e'\times p'=[e']_{\times }p'}
[
e
′
]
×
=
[
0
−
1
y
0
1
0
−
x
0
−
y
0
x
0
0
]
,
{\displaystyle [e']_{\times }=\left[{\begin{array}{ccc}0&-1&y_{0}\\1&0&-x_{0}\\-y_{0}&x_{0}&0\end{array}}\right],}
令
[
e
′
]
x
{\displaystyle [e']x}
l
′
:
Z
C
′
Z
C
[
e
′
]
×
H
π
p
{\displaystyle l':{\frac {Z'_{C}}{Z_{C}}}[e']_{\times }H_{\pi }p}
因为
p
′
{\displaystyle p'}
l
′
{\displaystyle l'}
p
′
l
′
=
p
′
[
e
′
]
×
H
π
p
=
0
{\displaystyle p'l'=p'[e']_{\times }H_{\pi }p=0}
令
F
=
[
e
′
]
×
H
π
{\displaystyle \mathrm {F} =[e']_{\times }H_{\pi }}
p
′
⊤
F
p
=
0
{\displaystyle p'^{\top }\mathrm {F} p=0}
^
Q. T. Luong. Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay. 1992.
^
Olivier D. Faugeras. What can be seen in three dimensions with an uncalibrated stereo rig?. Proceedings of European Conference on Computer Vision. 1992.
![{\displaystyle [R|t]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1487e9584a457b3ab6e7461a6947fd9af5782d2d)
![{\displaystyle [R'|t']}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3544db39c2af9f5985731580676afcd66353ec38)
![{\displaystyle P_{cam}(X_{C},Y_{C},Z_{C})^{\top }=[R|t]{\widetilde {P}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/edd5acc6c3b11d13d337bb520be2fd0a520151bc)
![{\displaystyle P'_{cam}(X_{C'},Y_{C'},Z_{C'})^{\top }=[R'|t']{\widetilde {P}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f89994807de475cd67b3b6957584cee4a4952b5e)
![{\displaystyle K=\left[{\begin{array}{ccc}f_{x}&0&{p_{c}}_{x}\\0&f_{y}&{p_{c}}_{y}\\0&0&1\end{array}}\right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/10d752e2cb039e167ee15f1190e625cc55029108)
![{\displaystyle p={\frac {1}{Z_{C}}}KP_{cam}={\frac {1}{Z_{C}}}K[R|t]P,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/402261a53d8fb5d9331e8961bd9de8a64936ac86)
![{\displaystyle p'={\frac {1}{Z_{C}}}KP'_{cam}={\frac {1}{Z_{C}}}K[R'|t']P,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d29bbf7b4a1524cc996cc7f334d174ca87f7d606)
![{\displaystyle P=[R|t]^{+}P_{cam}=Z'_{C}K[R|t]^{+}p}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ae3c913eb1dada9221472dccc76578c6e470e1bb)
![{\displaystyle H_{\pi }=K[R'|t']K[R|t]^{+}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bd3e78367d071958d8812109c24991e328430a39)
![{\displaystyle l':e'\times p'=[e']_{\times }p'}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d165a016e62d80f03b2ea78c70f503b6c314038)
![{\displaystyle [e']_{\times }=\left[{\begin{array}{ccc}0&-1&y_{0}\\1&0&-x_{0}\\-y_{0}&x_{0}&0\end{array}}\right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/757d215842aef06f59c02c848530e4f3d6656629)
![{\displaystyle [e']x}](https://wikimedia.org/api/rest_v1/media/math/render/svg/aadd443ba23b258f43fd306623d1b1cce5645dc2)
![{\displaystyle l':{\frac {Z'_{C}}{Z_{C}}}[e']_{\times }H_{\pi }p}](https://wikimedia.org/api/rest_v1/media/math/render/svg/79549286397d9a14814dd8c33af44b09bcdfaa31)
![{\displaystyle p'l'=p'[e']_{\times }H_{\pi }p=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6663c80c342d0e565e6926c40bd44e7290a7758f)
![{\displaystyle \mathrm {F} =[e']_{\times }H_{\pi }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b21746cb0317082fa26c71adb389f1e018415b6)