矩陣範數

矩陣範數（matrix norm）亦译矩阵模是數學中矩阵论、线性代数、泛函分析等领域中常见的基本概念，是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现，这时映射空间上装备的范数也可以通过矩阵范数的形式表达。

定义

赋范向量空间是拓扑向量空间中的基本种类。通过赋予向量空间（线性空间）以范数，建立拓扑结构。考虑系数域$\mathbb {K}$（$\mathbb {K}$可以是实数域$\mathbb {R}$或複数域$\mathbb {C}$等）上的所有$m\times n$矩阵所构成的向量空间${\mathcal {M}}_{m,n}(\mathbb {K} )$。这是一个有$mn$维的$\mathbb {K}$-向量空间。可以如同对其他的有限维$\mathbb {K}$-向量空间一样，为矩阵空间${\mathcal {M}}_{m,n}(\mathbb {K} )$装备范数。这样的范数称为${\mathcal {M}}_{m,n}(\mathbb {K} )$上的一个矩阵范数。

依照范数的定义，一个从${\mathcal {M}}_{m,n}(\mathbb {K} )$映射到非负实数的函数$\|\cdot \|$满足以下的条件：

• 严格正定性：对任意矩阵$A\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|A\|\geq 0$，且等號成立若且唯若$A=0$；
• 线性性：对任意系数$\alpha \in \mathbb {K}$、任意矩阵$A\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|\alpha A\|=|\alpha |\|A\|$；
• 三角不等式：任意矩阵$A,B\in {\mathcal {M}}_{m,n}(\mathbb {K} )$，都有$\|A+B\|\leq \|A\|+\|B\|$。则称之为${\mathcal {M}}_{m,n}(\mathbb {K} )$上的一个矩阵范数。

此外，某些定義在方块矩阵组成空间${\mathcal {M}}_{n}(\mathbb {K} )$上的矩陣範數滿足一個或多個以下與的條件：

• 相容性：$\|AB\|\leq \|A\|\|B\|$；
• 共轭转置相等条件：$\|A\|=\|A^{*}\|$。其中$A^{*}$表示矩阵$A$的共轭转置（在實矩陣中就是普通轉置）。

一致性特性（consistency property）也稱為次可乘性（sub-multiplicative property）。某些书籍中，矩阵范数特指满足一致性条件的范数。

常见矩阵范数

满足以上设定的矩阵范数可以有多种。由于它们都是定义在${\mathcal {M}}_{m,n}(\mathbb {K} )$这个有限维向量空间上的范数，所以实质上是等价的。常见的矩阵范数通常是在矩阵的应用中自然定义或诱导的范数。

向量范数诱导的矩阵範数

考虑从向量空间$V=\mathbb {K} ^{m}$映射到$W=\mathbb {K} ^{n}$的所有线性映射的构成的空间：${\mathcal {L}}_{m,n}(\mathbb {K} )$。设$V$和$W$中分别装备了两个向量范数$\|\cdot \|_{V}$和$\|\cdot \|_{W}$，则可以定义${\mathcal {L}}_{m,n}(\mathbb {K} )$上的算子范数$\|\cdot \|_{\mathcal {L}}$：

$\forall A\in {\mathcal {L}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {L}}=\max\{\|A(x)\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}$。

而给定了基底後，每个从$V$映射到$W$的线性映射都可以用一个$m\times n$的矩阵来表示，所以同样地可以定义${\mathcal {M}}_{m,n}(\mathbb {K} )$上的非负映射$\|\cdot \|_{\mathcal {M}}$：

$\forall A\in {\mathcal {M}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {M}}=\max\{\|Ax\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}$。

可以验证，$\|\cdot \|_{\mathcal {M}}$满足矩阵范数的定义，因此是一个矩阵范数。这个矩阵范数被称为是由向量空间范数诱导的矩阵范数，可以看作是算子范数在由有限维向量空间之间线性映射组成的空间上的特例。如果$m=n$，所对应的矩阵空间就是$n$阶方块矩阵空间${\mathcal {M}}_{n}(\mathbb {K} )$。这时可以验证，诱导范数$\|\cdot \|_{\mathcal {M}}$满足一致性条件。

p-范数诱导的矩阵范数

当$V$和$W$中装备的向量范数都是$p$-范数的时候，诱导的矩阵范数也称为矩阵的诱导$p$-范数。具体来说就是：

$\left\|A\right\|_{p}=\max \limits _{x\neq 0}{\frac {\left\|Ax\right\|_{p}}{\left\|x\right\|_{p}}}=\max \limits _{x\neq 0}{\frac {\left(\sum _{i=1}^{m}|\sum _{j=1}^{n}a_{ij}x_{j}|^{p}\right)^{1/p}}{\left(\sum _{j=1}^{n}|x_{j}|^{p}\right)^{1/p}}}$。

在$p=1$和$p=\infty$的情況下，其範數可以以下方式計算：

${\begin{aligned}&\left\|A\right\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|\\&\left\|A\right\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|\end{aligned}}$

這些與矩陣的Schatten p-範数不同，也可以用$\left\|A\right\|_{p}$。來表示。

当p = 2（欧几里德範数）時，诱导的矩阵範数就是谱範数。矩陣A的谱範数是A最大的奇異值或半正定矩阵A^*A的最大特徵值的平方根：

$\left\|A\right\|_{2}={\sqrt {\lambda _{\text{max}}(A^{*}A)}}$

其中A^*代表A的共轭转置。

任何诱导的矩陣範數都滿足此不等式

$\left\|A\right\|\geq \rho (A),$

其中ρ(A)是A的谱半径。事實上，可以证明ρ(A)是A的所有诱导範数的下界。

此外，我們有

$\lim _{r\rightarrow \infty }\|A^{r}\|^{1/r}=\rho (A)$。

矩阵元範数

這些向量範數将矩阵视为$m\times n$向量，并使用类似的向量範數。

舉例說明，使用向量的p-範数，我們得到：

$\Vert A\Vert _{p}={\Big (}\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}{\Big )}^{1/p}\$

注：不要把矩阵元p-範数与诱导p-範数混淆。

弗罗贝尼乌斯範数

对p = 2，这称为弗罗贝尼乌斯範数（Frobenius norm）或希尔伯特-施密特範数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个範数可用不同的方式定义：

$\|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} (A^{{}^{*}}A)}}={\sqrt {\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{2}}}$

这里A^*表示A的共轭转置，σ_i是A的奇异值，并使用了迹函数。弗罗贝尼乌斯範数与Kⁿ上欧几里得範数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范数是服从乘法的且在数值线性代数中非常有用。这个範数通常比诱导範数容易计算。

极大值範数

极大值範数是p=∞的元素範数，

$\|A\|_{max}=\max\{|a_{ij}|\}$。这个範数不服从次可乘性（sub-multiplicative property）。

Schatten範数

更多信息：Schatten範数

Schatten範数出现于当p-範数应用于一个矩阵的奇异值向量时。如果奇异值记做σ_i，则Schatten p-範数定义为

$\|A\|_{p}={\Big (}\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{p}{\Big )}^{1/p}\$

这个範数与诱导、元素p-範数使用了同样的记号，但它们是不同的。

所有Schatten範数服从乘法。它们也都是酉不变的，这就是说||A|| = ||UAV|| 对所有矩阵A与所有酉矩阵U和V。

最常见的情形是p = 1, 2, ∞。p = 2得出弗罗贝尼乌斯範数，前面已经介绍过了。p = ∞得出谱範数，这是由向量2-範数诱导的矩阵範数（见下）。最后，p = 1得出迹範数(核範数)，定义为

$\|A\|_{\text{tr}}=\operatorname {trace} ({\sqrt {A^{*}A}})=\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}$。

一致範数

一个$K^{m\times n}$上矩阵範数$\|\cdot \|_{ab}$称为与$K^{n}$上向量範数$\|\cdot \|_{a}$以及$K^{m}$上向量範数$\|\cdot \|_{b}$一致，如果

$\|Ax\|_{b}\leq \|A\|_{ab}\|x\|_{a}$

对所有$A\in K^{m\times n},x\in K^{n}$。根据定义，所有诱导範数是一致範数。

範数的等价

对任何两个向量範数||·||_α and ||·||_β，我们有

$r\left\|A\right\|_{\alpha }\leq \left\|A\right\|_{\beta }\leq s\left\|A\right\|_{\alpha }$

对某个正数r与s，$K^{m\times n}$中所有矩阵A成立。换句话说，它们是等价的範数；它们在$K^{m\times n}$上诱导了相同的拓扑。

此外，当$A\in \mathbb {R} ^{n\times n}$，则对任何向量範数 ||·||，存在惟一一个正数k使得k||A|| 是一个（服从乘法）矩阵範数。

一个矩阵範数||·||_α称为“极小的”，如果不存在其它矩阵範数||·||_β满足||·||_β≤||·||_α。

範数等价的例子

对矩阵$A\in \mathbb {R} ^{m\times n}$如下不等式成立：

• $\|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}$
• $\|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}$
• ${\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }$
• ${\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}$

这里，||·||_p表示由向量p-範数诱导的矩阵範数。

向量範数之间另一个有用的不等式是

$\|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}$。

參考資料

1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2] （页面存档备份，存于互联网档案馆）