矩陣範數

矩陣範數（matrix norm）亦譯矩陣模是數學中矩陣論、線性代數、泛函分析等領域中常見的基本概念，是將一定的矩陣空間建立為賦范向量空間時為矩陣裝備的範數。應用中常將有限維賦范向量空間之間的映射以矩陣的形式表現，這時映射空間上裝備的範數也可以通過矩陣範數的形式表達。

定義

賦范向量空間是拓撲向量空間中的基本種類。通過賦予向量空間（線性空間）以範數，建立拓撲結構。考慮係數域$\mathbb {K}$（$\mathbb {K}$可以是實數域$\mathbb {R}$或複數域$\mathbb {C}$等）上的所有$m\times n$矩陣所構成的向量空間${\mathcal {M}}_{m,n}(\mathbb {K} )$。這是一個有$mn$維的$\mathbb {K}$-向量空間。可以如同對其他的有限維$\mathbb {K}$-向量空間一樣，為矩陣空間${\mathcal {M}}_{m,n}(\mathbb {K} )$裝備範數。這樣的範數稱為${\mathcal {M}}_{m,n}(\mathbb {K} )$上的一個矩陣範數。

依照範數的定義，一個從${\mathcal {M}}_{m,n}(\mathbb {K} )$映射到非負實數的函數$\|\cdot \|$滿足以下的條件：

• 嚴格正定性：對任意矩陣$A\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|A\|\geq 0$，且等號成立若且唯若$A=0$；
• 線性性：對任意係數$\alpha \in \mathbb {K}$、任意矩陣$A\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|\alpha A\|=|\alpha |\|A\|$；
• 三角不等式：任意矩陣$A,B\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|A+B\|\leq \|A\|+\|B\|$。則稱之為${\mathcal {M}}_{m,n}(\mathbb {K} )$上的一個矩陣範數。

此外，某些定義在方塊矩陣組成空間${\mathcal {M}}_{n}(\mathbb {K} )$上的矩陣範數滿足一個或多個以下與的條件：

• 相容性：$\|AB\|\leq \|A\|\|B\|$；
• 共軛轉置相等條件：$\|A\|=\|A^{*}\|$。其中$A^{*}$表示矩陣$A$的共軛轉置（在實矩陣中就是普通轉置）。

一致性特性（consistency property）也稱為次可乘性（sub-multiplicative property）。某些書籍中，矩陣範數特指滿足一致性條件的範數。

常見矩陣範數

滿足以上設定的矩陣範數可以有多種。由於它們都是定義在${\mathcal {M}}_{m,n}(\mathbb {K} )$這個有限維向量空間上的範數，所以實質上是等價的。常見的矩陣範數通常是在矩陣的應用中自然定義或誘導的範數。

向量範數誘導的矩陣範數

考慮從向量空間$V=\mathbb {K} ^{m}$映射到$W=\mathbb {K} ^{n}$的所有線性映射的構成的空間：${\mathcal {L}}_{m,n}(\mathbb {K} )$。設$V$和$W$中分別裝備了兩個向量範數$\|\cdot \|_{V}$和$\|\cdot \|_{W}$，則可以定義${\mathcal {L}}_{m,n}(\mathbb {K} )$上的算子範數$\|\cdot \|_{\mathcal {L}}$：

$\forall A\in {\mathcal {L}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {L}}=\max\{\|A(x)\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}$。

而給定了基底後，每個從$V$映射到$W$的線性映射都可以用一個$m\times n$的矩陣來表示，所以同樣地可以定義${\mathcal {M}}_{m,n}(\mathbb {K} )$上的非負映射$\|\cdot \|_{\mathcal {M}}$：

$\forall A\in {\mathcal {M}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {M}}=\max\{\|Ax\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}$。

可以驗證，$\|\cdot \|_{\mathcal {M}}$滿足矩陣範數的定義，因此是一個矩陣範數。這個矩陣範數被稱為是由向量空間範數誘導的矩陣範數，可以看作是算子範數在由有限維向量空間之間線性映射組成的空間上的特例。如果$m=n$，所對應的矩陣空間就是$n$階方塊矩陣空間${\mathcal {M}}_{n}(\mathbb {K} )$。這時可以驗證，誘導範數$\|\cdot \|_{\mathcal {M}}$滿足一致性條件。

p-範數誘導的矩陣範數

當$V$和$W$中裝備的向量範數都是$p$-範數的時候，誘導的矩陣範數也稱為矩陣的誘導$p$-範數。具體來說就是：

$\left\|A\right\|_{p}=\max \limits _{x\neq 0}{\frac {\left\|Ax\right\|_{p}}{\left\|x\right\|_{p}}}=\max \limits _{x\neq 0}{\frac {\left(\sum _{i=1}^{m}|\sum _{j=1}^{n}a_{ij}x_{j}|^{p}\right)^{1/p}}{\left(\sum _{j=1}^{n}|x_{j}|^{p}\right)^{1/p}}}$。

在$p=1$和$p=\infty$的情況下，其範數可以以下方式計算：

${\begin{aligned}&\left\|A\right\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|\\&\left\|A\right\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|\end{aligned}}$

這些與矩陣的Schatten p-範數不同，也可以用$\left\|A\right\|_{p}$。來表示。

當p = 2（歐幾里德範數）時，誘導的矩陣範數就是譜範數。矩陣A的譜範數是A最大的奇異值或半正定矩陣A^*A的最大特徵值的平方根：

$\left\|A\right\|_{2}={\sqrt {\lambda _{\text{max}}(A^{*}A)}}$

其中A^*代表A的共軛轉置。

任何誘導的矩陣範數都滿足此不等式

$\left\|A\right\|\geq \rho (A),$

其中ρ(A)是A的譜半徑。事實上，可以證明ρ(A)是A的所有誘導範數的下界。

此外，我們有

$\lim _{r\rightarrow \infty }\|A^{r}\|^{1/r}=\rho (A)$。

矩陣元範數

這些向量範數將矩陣視為$m\times n$向量，並使用類似的向量範數。

舉例說明，使用向量的p-範數，我們得到：

$\Vert A\Vert _{p}={\Big (}\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}{\Big )}^{1/p}\$

註：不要把矩陣元p-範數與誘導p-範數混淆。

弗羅貝尼烏斯範數

對p = 2，這稱為弗羅貝尼烏斯範數（Frobenius norm）或希爾伯特-施密特範數（Hilbert–Schmidt norm），不過後面這個術語通常只用於希爾伯特空間。這個範數可用不同的方式定義：

$\|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} (A^{{}^{*}}A)}}={\sqrt {\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{2}}}$

這裏A^*表示A的共軛轉置，σ_i是A的奇異值，並使用了跡函數。弗羅貝尼烏斯範數與Kⁿ上歐幾里得範數非常類似，來自所有矩陣的空間上一個內積。

弗羅貝尼烏斯範數是服從乘法的且在數值線性代數中非常有用。這個範數通常比誘導範數容易計算。

極大值範數

極大值範數是p=∞的元素範數，

$\|A\|_{max}=\max\{|a_{ij}|\}$。這個範數不服從次可乘性（sub-multiplicative property）。

Schatten範數

更多資訊：Schatten範數

Schatten範數出現於當p-範數應用於一個矩陣的奇異值向量時。如果奇異值記做σ_i，則Schatten p-範數定義為

$\|A\|_{p}={\Big (}\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{p}{\Big )}^{1/p}\$

這個範數與誘導、元素p-範數使用了同樣的記號，但它們是不同的。

所有Schatten範數服從乘法。它們也都是酉不變的，這就是說||A|| = ||UAV|| 對所有矩陣A與所有酉矩陣U和V。

最常見的情形是p = 1, 2, ∞。p = 2得出弗羅貝尼烏斯範數，前面已經介紹過了。p = ∞得出譜範數，這是由向量2-範數誘導的矩陣範數（見下）。最後，p = 1得出跡範數(核範數)，定義為

$\|A\|_{\text{tr}}=\operatorname {trace} ({\sqrt {A^{*}A}})=\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}$。

一致範數

一個$K^{m\times n}$上矩陣範數$\|\cdot \|_{ab}$稱為與$K^{n}$上向量範數$\|\cdot \|_{a}$以及$K^{m}$上向量範數$\|\cdot \|_{b}$一致，如果

$\|Ax\|_{b}\leq \|A\|_{ab}\|x\|_{a}$

對所有$A\in K^{m\times n},x\in K^{n}$。根據定義，所有誘導範數是一致範數。

範數的等價

對任何兩個向量範數||·||_α and ||·||_β，我們有

$r\left\|A\right\|_{\alpha }\leq \left\|A\right\|_{\beta }\leq s\left\|A\right\|_{\alpha }$

對某個正數r與s，$K^{m\times n}$中所有矩陣A成立。換句話說，它們是等價的範數；它們在$K^{m\times n}$上誘導了相同的拓撲。

此外，當$A\in \mathbb {R} ^{n\times n}$，則對任何向量範數 ||·||，存在惟一一個正數k使得k||A|| 是一個（服從乘法）矩陣範數。

一個矩陣範數||·||_α稱為「極小的」，如果不存在其它矩陣範數||·||_β滿足||·||_β≤||·||_α。

範數等價的例子

對矩陣$A\in \mathbb {R} ^{m\times n}$如下不等式成立：

• $\|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}$
• $\|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}$
• ${\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }$
• ${\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}$

這裏，||·||_p表示由向量p-範數誘導的矩陣範數。

向量範數之間另一個有用的不等式是

$\|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}$。

參考資料

1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2] （頁面存檔備份，存於互聯網檔案館）