跳至內容

廣義奇異值分解

維基百科,自由的百科全書

線性代數中,廣義奇異值分解(GSVD)是基於奇異值(SVD)的兩種不同算法的統稱。其區別在於,一個是分解兩個矩陣(類似於高階或張量SVD),另一種使用施加於單矩陣SVD奇異向量上的約束。

版本1:雙矩陣分解

廣義奇異值分解(GSVD)是對矩陣對的矩陣分解,將奇異值分解推廣到兩個矩陣的情形。它由Van Loan [1]於1976年提出,後來由Paige與Saunders完善,[2]也就是本節描述的版本。與SVD相對,GSVD可以同時分解具有相同列數的矩陣對。SVD、GSVD及SVD的其他一些推廣[3][4][5]被廣泛用於研究線性系統在二次半範數方面的條件調節正則化。下面設,或

定義

廣義奇異值分解,其中

  • 酉矩陣
  • 為酉矩陣;
  • 為酉矩陣;
  • 為酉矩陣;
  • 對角線元素為正實數,包含的非零奇異值的降序排列,
  • ,
  • 是非負實數分塊對角陣,其中,其中, ,且
  • 是非負實數分塊對角陣,其中,其中, ,且
  • ,
  • ,
  • ,
  • .

。而是對角陣,不總是對角陣,因為前導矩形零矩陣;相反,是「副對角陣」。

變體

GSVD有許多變體,與這樣一個事實有關:總可以左乘是任意酉矩陣。記

  • ,其中是上三角可逆陣;是酉矩陣。QR分解總可以得到這樣的矩陣。
  • ,那麼可逆。

下面是GSVD的一些變體:

  • MATLAB(gsvd):
  • LAPACK(LA_GGSVD):
  • 簡化:

廣義奇異值

廣義奇異值 是一對使得

我們有


根據這些性質,可以證明廣義奇異值正是成對的。有因此

對某個,當時,表達式恰為零。

[2]中,廣義奇異值被認為是求解的奇異值。然而,這只有當時才成立,否則行列式對每對都將是0;這可通過替換上面的得到。

廣義逆

對任意可逆陣,令,對任意零矩陣,令,對任意分塊對角陣令。定義可以證明這裏定義的廣義逆陣;特別是逆。由於它一般不滿足,所以不是摩爾-彭若斯廣義逆;否則可以得出,對任意所選矩陣都有,這隻對特定類型的矩陣成立。

,其中。這個廣義逆具有如下性質:

商SVD

'的'廣義奇異比。由以上性質,。注意是對角陣,忽略前導零矩陣,按降序包含着奇異比。若可逆,則沒有前導零,廣義奇異比就是奇異值,則是的奇異向量矩陣。事實上計算的SVD是GSVD的動機之一,因為「形成並求SVD,當的方程解條件不佳時,可能產生不必要、較大的數值誤差」。[2]因此有時也被稱為「商GSVD」,雖然這並不是使用GSVD的唯一原因。若不可逆,並放寬奇異值降序排列的要求,則仍是的SVD。或者,把前導零移到後面,也可以找到降序SVD:,其中是適當的置換矩陣。由於秩等於非零奇異值的個數,所以

構造

  • 的SVD,其中是酉矩陣,如上所述;
  • ,其中
  • ,其中
  • 通過的SVD得到,其中如上所述,
  • 經過類似於QR分解的分解,其中如上所述。

那麼,還有因此由於的列歸一正交,,因此對每個,有,使得因此

應用

張量GSVD是比較譜分解的一種,是SVD在多張量上的推廣,提出動機是同時識別其中的相似與不相似數據,並從任何數量和維度的任意數據類型中得到單一相干模型。

GSVD是一種比較譜分解,[6]已成功應用於信號處理和數據科學,如基因組信號處理。[7][8][9]

這些應用啟發了其他幾種比較譜分解,即高階GSVD(HO GSVD)[10]與張量GSVD。[11] [12]

當特徵函數以線性模型(即再生核希爾伯特空間)為參數時,它同樣適於估計線性運算的譜分解。[13]

版本2:加權單矩陣分解

廣義奇異值分解(GSVD)的加權情形是一種有約束矩陣分解,約束施加在奇異向量上。[14][15][16]這種GSVDSVD的推廣。給定m×n實或複數矩陣MSVD分解

,其中

其中I單位矩陣在約束條件下()是標準正交矩陣。另外,是正定矩陣(通常是權的對角矩陣)。這種形式的GSVD是某些算法的核心,如廣義主成分分析和對應分析

加權形式的GSVD之所以被稱為加權形式,是因為在正確取權時,可以推出許多算法(如多維標度線性判別分析)。[17]

參考文獻

  1. ^ Van Loan CF. Generalizing the Singular Value Decomposition. SIAM J. Numer. Anal. 1976, 13 (1): 76–83. Bibcode:1976SJNA...13...76V. doi:10.1137/0713009. 
  2. ^ 2.0 2.1 2.2 Paige CC, Saunders MA. Towards a Generalized Singular Value Decomposition. SIAM J. Numer. Anal. 1981, 18 (3): 398–405. Bibcode:1981SJNA...18..398P. doi:10.1137/0718026. 
  3. ^ Hansen PC. Rank-Deficient and Discrete Ill-Posed Problems: Numerical Aspects of Linear Inversion. SIAM Monographs on Mathematical Modeling and Computation. 1997. ISBN 0-89871-403-6. 
  4. ^ de Moor BL, Golub GH. Generalized Singular Value Decompositions A Proposal for a Standard Nomenclauture (PDF). 1989 [2023-09-25]. (原始內容存檔 (PDF)於2023-07-23). 
  5. ^ de Moor BL, Zha H. A tree of generalizations of the ordinary singular value decomposition. Linear Algebra and Its Applications. 1991, 147: 469–500. doi:10.1016/0024-3795(91)90243-P可免費查閱. 
  6. ^ Alter O, Brown PO, Botstein D. Generalized singular value decomposition for comparative analysis of genome-scale expression data sets of two different organisms. Proceedings of the National Academy of Sciences of the United States of America. March 2003, 100 (6): 3351–6. Bibcode:2003PNAS..100.3351A. PMC 152296可免費查閱. PMID 12631705. doi:10.1073/pnas.0530258100可免費查閱. 
  7. ^ Lee CH, Alpert BO, Sankaranarayanan P, Alter O. GSVD comparison of patient-matched normal and tumor aCGH profiles reveals global copy-number alterations predicting glioblastoma multiforme survival. PLOS ONE. January 2012, 7 (1): e30098. Bibcode:2012PLoSO...730098L. PMC 3264559可免費查閱. PMID 22291905. doi:10.1371/journal.pone.0030098可免費查閱. 
  8. ^ Aiello KA, Ponnapalli SP, Alter O. Mathematically universal and biologically consistent astrocytoma genotype encodes for transformation and predicts survival phenotype. APL Bioengineering. September 2018, 2 (3): 031909. PMC 6215493可免費查閱. PMID 30397684. doi:10.1063/1.5037882. 
  9. ^ Ponnapalli SP, Bradley MW, Devine K, Bowen J, Coppens SE, Leraas KM, Milash BA, Li F, Luo H, Qiu S, Wu K, Yang H, Wittwer CT, Palmer CA, Jensen RL, Gastier-Foster JM, Hanson HA, Barnholtz-Sloan JS, Alter O. Retrospective Clinical Trial Experimentally Validates Glioblastoma Genome-Wide Pattern of DNA Copy-Number Alterations Predictor of Survival. APL Bioengineering. May 2020, 4 (2): 026106. PMC 7229984可免費查閱. PMID 32478280. doi:10.1063/1.5142559可免費查閱. Press Release.  溫哥華格式錯誤 (幫助)
  10. ^ Ponnapalli SP, Saunders MA, Van Loan CF, Alter O. A higher-order generalized singular value decomposition for comparison of global mRNA expression from multiple organisms. PLOS ONE. December 2011, 6 (12): e28072. Bibcode:2011PLoSO...628072P. PMC 3245232可免費查閱. PMID 22216090. doi:10.1371/journal.pone.0028072可免費查閱. 
  11. ^ Sankaranarayanan P, Schomay TE, Aiello KA, Alter O. Tensor GSVD of patient- and platform-matched tumor and normal DNA copy-number profiles uncovers chromosome arm-wide patterns of tumor-exclusive platform-consistent alterations encoding for cell transformation and predicting ovarian cancer survival. PLOS ONE. April 2015, 10 (4): e0121396. Bibcode:2015PLoSO..1021396S. PMC 4398562可免費查閱. PMID 25875127. doi:10.1371/journal.pone.0121396可免費查閱. 
  12. ^ Bradley MW, Aiello KA, Ponnapalli SP, Hanson HA, Alter O. GSVD- and tensor GSVD-uncovered patterns of DNA copy-number alterations predict adenocarcinomas survival in general and in response to platinum. APL Bioengineering. September 2019, 3 (3): 036104. PMC 6701977可免費查閱. PMID 31463421. doi:10.1063/1.5099268. Supplementary Material. 
  13. ^ Cabannes, Vivien; Pillaud-Vivien, Loucas; Bach, Francis; Rudi, Alessandro. Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning. 2021. arXiv:2009.04324可免費查閱 [stat.ML]. 
  14. ^ Jolliffe IT. Principal Component Analysis需要免費註冊. Springer Series in Statistics 2nd. NY: Springer. 2002. ISBN 978-0-387-95442-4. 
  15. ^ Greenacre M. Theory and Applications of Correspondence Analysis. London: Academic Press. 1983. ISBN 978-0-12-299050-2. 
  16. ^ Abdi H, Williams LJ. Principal component analysis.. Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2 (4): 433–459. doi:10.1002/wics.101. 
  17. ^ Abdi H. Singular Value Decomposition (SVD) and Generalized Singular Value Decomposition (GSVD).. Salkind NJ (編). Encyclopedia of Measurement and Statistics.有限度免費查閱,超限則需付費訂閱. Thousand Oaks (CA): Sage. 2007: 907–912. 

閱讀更多