投影 (線性代數)

變換 P 是在線 m 上的正交投影。

在線性代數和泛函分析中，投影是從向量空間映射到自身的一種線性變換$P$，滿足$P^{2}=P$,也就是說，當$P$兩次作用於某個值，與作用一次得到的結果相同（冪等）。是日常生活中「平行投影」概念的形式化和一般化。同現實中陽光將事物投影到地面上一樣，投影變換將整個向量空間映射到它的其中一個子空間，並且在這個子空間中是恆等變換。

定義

投影的嚴格定義是：一個從向量空間V射到它自身的線性變換 P 是投影，若且唯若$P^{2}=P$。另外一個定義則較為直觀：P 是投影，若且唯若存在V的一個子空間W，使得 P 將所有V中的元素都映射到W中，而且 P 在W上是恆等變換。用數學的語言描述，就是：

$\exists W$，使得$\forall u\in V,P(u)\in W$，並且$\forall u\in W,P(u)=u$

簡單例子

在現實生活中，陽光在地面上留下各種影子。這就是投影變換最直白的例子。可以理想化地假設陽光都是沿着同一個方向（比如說垂直於地面的角度）照射而來，大地是嚴格的平面，那麼，對於任意一個物體（比如說一隻正在飛行的鳥），它的位置可以用向量 (x, y, z) 來表示，而這隻鳥在陽光下對應着一個影子，也就是 (x, y, 0)。這樣的一個變換就是一個投影變換。它將三維空間中的向量 (x, y, z) 到映射到向量 (x, y, 0) 。這是在 x-y 平面上的投影。這個變換可以用矩陣表示為

$P={\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}}$

因為對任意一個向量 (x, y, z) ，這個矩陣的作用是：

$P{\begin{bmatrix}x\\y\\z\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}}$

注意到如果一個向量原來就是表示地面上的一點的話（也就是說它的z分量等於0），那麼經過變換 P 後不會有改變。也就是說這個變換在子空間 x-y 平面上是恆等變換，這證明了 P 的確是一個投影。

另外，

$P^{2}{\begin{bmatrix}x\\y\\z\end{bmatrix}}=P{\begin{bmatrix}x\\y\\0\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}};$

所以 P = P²，這也證明 P 的確是投影。

基本性質

變換 T 是沿着 k 方向到直線 m 上的投影。T 的像空間是 m 而零空間是 k。

這裏假定投影所在的向量空間W是有限維的（因此不需要考慮如投影的連續性之類的問題）。假設子空間U與V分別為 P 的像空間與零空間（也叫做核）。那麼按照定義，有如下的基本性質:

1. 按照定義，P是等冪的（即$P^{2}=P$）
2. P 在像空間U上是恆等變換：$\forall x\in U,\quad P(x)=x$
3. 整個向量空間可以分解成子空間U與V的直和：$W=U\oplus V$。也就是說，空間裏的每一個向量$x\in W$，都可以以唯一的方式寫成兩個向量$u$與$v$的和：$x=u+v$，並且滿足$u=Px$, $v=x-Px=(I-P)x$, 其中$u\in U$、$v\in V$。

用抽象代數的術語來說，投影 P 是冪等的線性映射（P² = P）。因此它的極小多項式是$X^{2}-X=X(X-1)$。因式分解後可以看到，這個多項式只有相異的單根（沒有多重根），因此 P 是可對角化矩陣。極小多項式也顯示出了投影的特性: 像空間與零空間分別是是對應於特徵值1和0的特徵空間，並給出了整個空間的一個直和分解。

正如日常生活中陽光沿着一定的方向將影子投射到地面上，一般的投影變換也可以稱為是沿着W到U上的投影。由於向量空間分解成直和的方式一般不是唯一的（陽光可以順着不同的方向照射），給定一個子空間 V（地面），一般的說有很多到V 的投影（沿不同的W）。

正交投影

如果向量空間$V$被賦予了內積且是完備的，那麼就可以定義正交和其它相關的概念(比如線性算子的自伴隨性)了。正交投影是指值域$U$和零空間$W$相互正交的投影，也就是說，對於任意$u\in U$，$w\in W$，它們的內積$(u|w)$都等於0。一個投影是正交投影，若且唯若它是自伴算子，以下為證明：如果投影 $P$ 是自伴算子，那麼

$\forall u=P(v)\in U,$ $w\in W:$

$(u|w)=\left(P(v)|w\right)=\left(v|P^{*}(w)\right)=\left(v|P(w)\right)=\left(v|0\right)=0,$ 其中$P^{*}$ 表示 $P$ 的伴隨算子。

所以 $P$ 是正交投影。相反的，如果 $P$ 是正交投影，由於

$\forall v\in V:\,v-P(v)\in W,$ 因此我們有

$\forall v_{1},\,v_{2}\in V:0=\left(P(v_{1})|(v_{2}-P(v_{2}))\right)=\left(v_{1}|(P^{*}-P^{*}P)(v_{2})\right).$

鑑於 $v_{1},\,v_{2}$ 是任意選取的，必然有 $P^{*}-P^{*}P=0$ 或 $P^{*}=P^{*}P,$ 由於$P^{*}P$一定是自伴算子，因此可知 $P^{*}$與$P$ 也是自伴算子。

這意味着正交投影的矩陣有特殊的性質。如果投影是在實向量空間中，那麼它對應的矩陣是對稱矩陣: $P=P^{T}$。如果投影是在虛向量空間中，那麼它的矩陣則是埃爾米特矩陣:$P=P^{*}$

例子

正交投影的最簡單的情況是到（過原點）直線上的正交投影。如果 u 是這條直線的單位方向向量，則投影給出為

$P_{u}=uu^{*}\$

這個算子保留 u 不變（$P_{u}(u)=uu^{*}u=u\|u\|^{2}=u$），並且它作用在所有正交於 u 的向量上都是0（如果$(u|v)=0$，那麼 $P_{u}(v)=uu^{*}v=u(u|v)=0$），證明它的確是到包含 u 的直線上的正交投影。

這個公式可以推廣至到在任意維的子空間上的正交投影。設 u₁, …, u_k 是子空間 U 的一組正交基，並設 A 為一個n×k 的矩陣，它的列向量是 u₁, …, u_k。那麼投影：

$P_{A}=AA^{T}\$

也是正交的。矩陣 A^T 是在 U 的正交補變為零的偏等距同構，而 A 是把 U 嵌入底層向量空間的等距同構。P_A 的值域因此是 A 的「終空間」(final space)。A^TA 是在 U 上的恆等算子也是明顯的。

正交條件也可以去除。如果 u₁, …, u_k 是(不必須正交)基，而 A 是有這些向量作為列的矩陣，則投影是

$P_{A}=A(A^{T}A)^{-1}A^{T}\,$。

矩陣 A^T 仍把 U 嵌入到低層向量空間中但一般不再是等距的。矩陣 (A^TA)⁻¹ 是恢復規範的「規範化因子」。例如，秩-1 算子 uu^T 不是投影，如果 ||u|| ≠ 1。在除以 u^Tu = \|u\|² 之後，我們得獲得了到 u 所生成的子空間的投影 u(u^Tu)⁻¹u^T。

所有這些公式對於複數內積空間也成立，假如用共軛轉置替代轉置。

斜投影

術語斜投影有時用來提及非正交投影。這些投影也用來在二維繪圖中表示空間圖形(參見斜投影)，儘管不如正交投影常用。

斜投影用它們的值域和零空間來定義。有給定值域和零空間的投影的矩陣表示的公式可如下這樣找到。設向量 u₁, …, u_k 形成了投影的值域的基，並把這些向量組合到 n×k 矩陣 A 中。值域和零空間是互補空間，所以零空間有維度 n − k。它推出零空間的正交補有維度 k。設 v₁, …, v_k 形成這個投影的零空間的正交補的基，並把這些向量組合到矩陣 B 中。則投影定義為

$P=A(B^{T}A)^{-1}B^{T}\,$。

這個表達式一般化上面給出的正交投影公式。

在賦范向量空間上的投影

當底層向量空間 X 是(不必需有限維)賦范向量空間，需要考慮無關於有限維情況的分析問題，假定現在 X 是巴拿赫空間。

上面討論的多數代數概念轉移到這個上下文後倖存下來了。給定的 X 的直和分解成補子空間仍指定一個投影，反之亦然。如果 X 是直和 X = U ⊕ V，則定義自 P(u + v) = u 的算子仍是有值域 U 和核 V 的投影。明顯的也 P² = P。反過來說，如果 P 是在 X 上的投影，就是說 P² = P，則很容易驗證 (I − P)² = (I − P)。換句話說，(I − P) 也是投影。關係 I = P + (I − P) 蘊涵了 X 是直和 Ran(P) ⊕ Ran(I − P)。

但是相對於有限維情況，投影一般不必須是連續的。如果 X 的子空間 U 在規範拓撲下不閉合，則到 U 上的投影是不連續的。換句話說，連續投影 P 的值域一定是閉合子空間。進一步的，連續投影(事實上，一般的連續線性算子)的核是閉合的。所以連續投影 P 把 X 分解成兩個互補的閉合子空間: X = Ran(P) ⊕ Ker(P) = Ran(P) ⊕ Ran(I − P)。

反命題在有額外假定條件下也成立。假設 U 是 X 的閉合子空間。如果存在一個閉合子空間 V 使得 X = U ⊕ V，則有值域 U 和核 V 的投影 P 是連續的。這是從閉合圖定理推出的。假定 x_n → x 而 Px_n → y。需要證明 Px = y。因為 U 是閉合的且 {Px_n} ⊂ U, y 位於 U 中，就是說 Py = y。還有 x_n − Px_n = (I − P)x_n → x − y。因為 V 是閉合的且 {(I − P)x_n} ⊂ V，我們有了 x − y ∈ V，就是說 P(x − y) = Px − Py = Px − y = 0，這證明了這個斷言。

上述論證利用 U 和 V 都是閉合的假定。一般的說，給定一個閉合子空間 U, 不需要存在一個互補的閉合子空間 V，儘管對於希爾伯特空間總是可以採取正交補得到。對於巴拿赫空間，一維子空間總是有閉合的補子空間。這是 哈恩-巴拿赫定理的直接推論。設 U 是 u 的線性擴張。通過哈恩-巴拿赫定理，存在一個有界線性泛函 φ，使得 φ(u) = 1。算子 P(x) = φ(x)u 滿足 P² = P，就是說它是個投影。φ 的有界性蘊涵了 P 的連續性，因此 Ker(P) = Ran(I − P) 是 U 的閉合補子空間。

應用

投影（正交與非正交投影）在算法領域和特定線性代數問題中有重要應用。

• QR分解（參見豪斯霍爾德變換和格拉姆-施密特正交化）
• 奇異值分解
• 化為海森伯格矩陣形式（許多特徵值算法的第一步）
• 線性回歸

參見

• 中心矩陣，它是投影矩陣的例子。
• 正交化
• 不變子空間
• 透視投影

引用

• N. Dunford and J.T. Schwartz, Linear Operators, Part I: General Theory, Interscience, 1958.
• Carl D. Meyer, Matrix Analysis and Applied Linear Algebra （頁面存檔備份，存於互聯網檔案館）, Society for Industrial and Applied Mathematics, 2000. ISBN 978-0-89871-454-8.