黃氏定律
黃氏定律（英語：Huang's law）是電腦科學與工程領域的一個觀察結果，即圖形處理器（GPU）的發展速度遠遠快於傳統的中央處理器（CPU）。根據摩爾定律，密集集成電路（IC）中的電晶體數量大約每兩年增加一倍[1]。黃氏定律則指出，GPU的效能每兩年將增加一倍以上[2]。這一假設的有效性受到質疑。
歷史
2018年，時任輝達行政總裁黃仁勳在加利福尼亞州聖荷西舉行的GPU技術大會（GTC）上提出了這個觀點[3]。他注意到輝達的GPU「比五年前快了25倍」，而摩爾定律預計只能提高10倍[2]。隨着微晶片元件變得越來越小，晶片的發展越來越難以達到摩爾定律的速度[4]。
2006年，輝達GPU效能優勢是其他CPU的4倍。2018年，輝達GPU的速度是同類CPU節點的20倍：GPU的速度每年增加1.7倍。摩爾定律預測每兩年增加一倍，然而輝達的GPU效能每兩年增加兩倍多，實現了黃氏定律[5]。
黃氏定律指出，硬件、軟件和人工智能之間的協同作用使新「定律」成為可能[A]。黃仁勳說：「創新不僅僅是晶片，而是整個堆疊」。他指出GPU對於新模式尤其重要[3]。消除瓶頸可以加快進程，為實現目標創造優勢，「輝達是一匹只會一招的小馬」[7]。黃仁勳說：「加速計算是一種解放……比方說，你有一架飛機需要運送包裹，它需要12個小時才能送達。與其讓飛機開得更快，不如集中精力研究如何更快地送達包裹，看看目的地的3D 列印技術。目標……是更快實現目標。」[7]
對於人工智能任務，黃仁勳表示AlexNet在兩台輝達的GTX 580處理器上需要6天才能完成訓練過程，而在一台現代DGX-2 AI伺服器上只需要18分鐘，因此速度提升了500倍。與單純關注CPU電晶體的摩爾定律相比，黃氏定律描述了架構、互連、記憶體技術和演算法的綜合進步[2][6]。
巴拉特·拉姆森達爾（Bharath Ramsundar）寫道，深度學習正在與「客製化架構的改進」相互結合。例如，機器學習系統已經在區塊鏈世界中實現，位元大陸「透過設計客製化挖礦ASIC」攻擊了「許多加密貨幣」，而這在以前是無法實現的。「然而，輝達的巨大成就在於證明這些架構的改進不僅僅是特定應用的孤立勝利，也許廣泛適用於所有電腦科學。」他們提出，廣泛利用GPU和GPU堆疊（參見CPU堆疊）可以實現「深度學習架構的大幅成長」。黃氏定律承諾的「魔力」在於，隨着搭載深度學習的新生軟件越來越多，「GPU擴展帶來的改進以及更廣泛意義上的架構改進」將具體改善「現代軟件堆疊的效能和行為」[8]。
對於黃氏定律批評之聲不絕於耳。2020年，記者喬爾·赫魯斯卡（Joel Hruska）在《ExtremeTech》雜誌上撰文稱「根本不存在黃氏定律」，稱其為一種「幻覺」，是建立在摩爾定律所帶來的利益之上的；而且現在就斷定定律的存在還為時過早[9]。非營利研究機構Epoch發現，2006年至2021年GPU的價格表現（以 FLOPS/$ 計算）大約每2.5年增加一倍，比黃氏定律預測的速度慢得多[10]。
備註
參考資料
- ^ Drum, Kevin. Moore's Law is dead. Long live Huang's Law.. [2023-10-04]. （原始內容存檔於2023-06-16）.
- ^ 2.0 2.1 2.2 2.3 Mims, Christopher. Huang's Law Is the New Moore's Law, and Explains Why Nvidia Wants Arm. Wall Street Journal. September 19, 2020 [2023-10-04]. （原始內容存檔於2023-10-02） –透過www.wsj.com.
reprinted in Huang's Law is New Moore's Law and explains why Nvidia wants an arm. Yahoo!. September 29, 2020.[失效連結]
- ^ 3.0 3.1 Perry, Tekla S. Move Over, Moore's Law: Make Way for Huang's Law. IEEE Spectrum (IEEE). May 2018 [September 24, 2020]. （原始內容存檔於2021-04-19）.
Graphics processors are on a supercharged development path that eclipses Moore’s Law. ... GPUs are also advancing more quickly than CPUs because they rely upon a parallel architecture, Jesse Clayton, an Nvidia senior manager, pointed out in another session."
- ^ Tibken, Shara. CES 2019: Moore's Law is dead, says Nvidia's CEO. CBS Interactive. CNET. 9 January 2019 [24 September 2020]. （原始內容存檔於2021-03-26）.
- ^ Woodie, Alex. Nvidia Riding High as GPU Workloads and Capabilities Soar. HPCwire. 27 March 2018 [24 September 2020]. （原始內容存檔於2023-02-05）.
- ^ 6.0 6.1 Goetting, Brittany. Advancing AI And 'Huang's Law' Could Be Why NVIDIA Moved To Acquire Arm. HotHardware. September 20, 2020 [September 24, 2020]. （原始內容存檔於2023-05-31）.
- ^ 7.0 7.1 Hayes, Caroline. Jensen Huang: Moore's law is dead – long live AI. Electronics Weekly (Metropolis International). October 11, 2018 [September 24, 2020]. （原始內容存檔於2023-05-28）.
... there are two dynamics controlling the computing industry today – the end of Moore’s law and software that can write itself, artificial intelligence, or AI. ... We can study where bottlenecks are. New software systems make the application go faster, not just the chip.
- ^ Ramsundar, Bharath. The Advent of Huang's Law. April 7, 2018 [September 24, 2020]. （原始內容存檔於2023-07-04）.
- ^ Hruska, Joel. There's No Such Thing as 'Huang's Law,' Despite Nvidia's AI Lead. Extreme Tech. September 22, 2020 [2023-10-04]. （原始內容存檔於2023-01-20）.
- ^ Marius Hobbhahn and Tamay Besiroglu (2022), "Trends in GPU price-performance". Published online at epochai.org. Retrieved from: https://epochai.org/blog/trends-in-gpu-price-performance （頁面存檔備份，存於互聯網檔案館）
外部連結
- What is Huang's law? What is Moore's law? What is GPU? What is CPU? What is the difference? (Video). [2023-10-04]. （原始內容存檔於2022-04-05） –透過YouTube.