技術奇點
此條目需要補充更多來源。 (2012年6月12日) |
未來學 |
---|
概念 |
工具 |
科技評估及預測 |
技術奇點(英語:Technological Singularity),出自奇點理論;根據技術發展史總結出的觀點,認為人類正在接近一個使得現有技術被完全拋棄或者人類文明被完全顛覆的事件點,在這個事件點以後的事件就像黑洞的事件視界一樣完全無法預測。例如,意識上傳技術可能使人類的意識擺脫有機體的約束,在這個奇點之後的人類文明將發展到當今完全無法理解的水準。
一般設想技術奇異點將由超越現今人類並且可以自我進化的機器智能、或者其它形式的超級智能的出現所引發。由於其智能遠超今天的人類,因此技術的發展會完全超乎全人類的理解能力,甚至無法預測其發生。
之所以被稱為奇異點,因為它是一個臨界點。當我們越來越接近這個臨界點,它會對人類的事物產生越來越大的影響,直到它成為人類的共識。但當它最終來臨的時候,也許仍會出人意料並且難以想象。就好比物理學上引力無窮大時產生的黑洞的物理屬性一樣,已經不在一般正常模型所能預測的範圍之內。
一些研究指出,當今全球範圍內創新的速率正在趨緩,而非加速。許布納(英語:Jonathan Huebner)在2005年指出,根據美國專利數和世界科技突破的狀況來看,人類科技創新的速率在1873年達到頂峰,之後便開始趨緩。[1][2]在他的文章當中,他曾問道:「科技(創新的)程度將會達到頂峰然後跌落到黑暗時代(的水準)?」[1]在之後於《新科學人》的評論中,許布納提到說盡管他相信在2024年,科技創新的頻率會跌落到黑暗時代的水準,但這不表示他認為黑暗時代將會再次到來。[3]盡管一些人質疑許布納創新速率正在下降的觀點,並認為科技創新的速率實際上是在加快的,但許布納的觀點獲得一些其他資料的支持。美國專利局在2010年的資料支持許布納的觀點;[4]一篇2012年的研究也支持許布納的觀點。[5]這表示現代社會沒有接近科技奇異點的跡象。
智能與創造力的大爆炸
“ | 我們的未來不再是經歷進化,而是要經歷爆炸。
|
” |
最早意識到人類技術發展速度加快的是波蘭數學家斯塔尼斯拉夫·烏拉姆,於1958年和計算機科學家馮·諾伊曼的一次對話中。而統計學家歐文·約翰·古德於1965年提出技術奇異點的必要條件──「智能爆炸」概念:
“ | 讓我們將超級智能機器定義為一種能夠遠遠超過任何人的所有智力活動的機器。如果說設計機器是這些智力活動的一種,那麼超級智能機器肯定能夠設計出更加優良的機器;
毫無疑問,隨後必將出現一場「智能爆炸」,人類的智能會被遠遠拋在後面。因此,第一台超級智能機器是人類需要完成的最後一項發明,前提是這台機器足夠聽話,會告訴我們如何控制它。…… 在二十世紀之內,超級智能機器將很有可能被製造出來,而它會是人類需要進行的最後一項發明。 |
” |
1982年,弗諾·文奇在卡內基梅隆大學召開的美國人工智能協會年會上首次提出「技術奇異點」這一概念。1993年,弗諾·文奇在美國國家航空航天局路易斯研究中心舉行的一次討論會上發表了論文《技術奇異點即將來臨:後人類時代生存指南》(The Coming Technological Singularity)再次簡述了這個觀點,論文同年刊載於《全地球評論》(Whole Earth Review)雜誌上。在這篇論文中,弗諾·文奇系統地闡述了自己的「技術奇異點」的理論,並聲稱超越人類智能的計算器將在50年之內問世,並把這次變化好比200萬年以前人類的出現一樣重大。
1999年,美國哲學家,麻省理工學院博士瑞·庫茨維爾發表的《心靈機器時代 —當電腦超越人腦》(The Age of Spiritual machines)一書,闡明了未來互聯網將把全人類乃至其他生命和非生命體匯集成一個完整意識體的概念,在美國學術界激起一片浪潮。2001年,他提出摩爾定律的擴展定理,即庫茨維爾定理(Kurzweil's Law of Accelerated Return)。該定理指出,人類出現以來所有技術發展都是以指數增長。也就是說,一開始技術發展是小的,但是一旦信息和經驗積累到一定的基礎,發展開始快速增長,以指數的形式,然後是以指數的指數形式增長。瑞·庫茨維爾將同樣的概念引入到生物進化和宇宙誕生以來的變化裡,並導出了同樣的指數增長的公式。根據數學模型,在未來的某個時間內,技術發展將接近於無限大。2005年,瑞·庫茨維爾發表了500多頁的巨著《奇點迫近》,再次系統的介紹了這個概念的數學模型、基因工程的發展、納米技術的展望和超越光速的可能性,該書成為美國網絡書店亞馬遜上2005年科普十大暢銷書之一,同時成為網上博客熱談的一個話題之一。
加速度發展
一些技術奇異點的擁護者依據對歷史數據的總結與歸納得出技術奇異點必將不可避免的到來的結論。波蘭數學家斯塔尼斯拉夫·烏拉姆於1945年和計算機科學家馮·諾伊曼的一次關於科技加速度發展的對話[6]中第一次把「奇異點」這個詞置於科技發展的上下文裡:
“ | 我們的對話集中討論了不斷加速的科技進步,以及其對人類生活模式帶來的改變,這些發展及改變,似乎把人類帶到了一個可以被稱之為人類歷史的奇異點的階段,在這個階段過後,我們目前所熟知的人類的社會、藝術和生活模式,將不復存在。 | ” |
與此同時,中國科學家李四光在他的短文《人類的出現》[7]裡寫到:
“ | 人類文化的發展,經過新人階段的舊石器時代晚期以後,先後進入新石器時代及金屬時代。愈到後來發展愈為迅猛。從新石器時代的開始到現在至多不過一萬年左右,金屬時代的開始到現在不過數千年,人們開始利用電能到現在不過一百多年,原子能的利用則僅是最近幾十年的事;而新石器時代以前的發展階段,則動輒以數十萬年到千百萬年計。由此可見,人類的發展不是等速度運動,而是類似一種加速度運動,即愈到後來前進的速度愈是成倍地增加。 | ” |
大部分人用電腦只是十多年,而使用互聯網的時間更加短,而使用智能手機的時間更只是數年。
霍金認為使世界產生不可逆轉的範式轉移發生的頻率越來越高,速度越來越快[8]。作為例子,霍金指出從現代數學的發現到計算機的發明所用的時間遠小於從文字被發明到現代數學被發現所用的時間。
瑞·庫茨維爾對於科技歷史所做出的分析讓他得出了關於科技的增長以幾何級數進行的結論,他把這個結論稱作「加速度回報定律」。這個定律把摩爾定律擴展到了許多積體電路科技以外的科技領域中去。
發生時間與可能性
大部分相信這個理論的科學家認為這件事情將會在2005年到2100年之間發生。發展會非常迅速,以至大部分人還沒有意識到事件就已經發生了。
發生的可能途徑
- 某種先進的電腦也許會「甦醒」,並擁有超人智能。
- 大型電腦網絡(以及和網絡相連的用戶)也可能「甦醒」過來,成為超人智能的實體。
- 人類與計算機結合使操縱計算機的用戶可能被視為超人智能實體,也就是「智能擴大」。
- 生物科學將有可能大大提升人類的智能。
來臨的條件
技術奇異點來臨的條件是超級智能的產生。超級智能產生方式可能是人工智能(AI)和智能擴大(IA)。
智能擴大的發展方向
- 人機小組自動化控制。
- 用於藝術創作的人機共同體。
- 允許人機聯合團隊參加棋類比賽。
- 發展不需要人類待在某個固定的地方才能使用的人機界面和網絡接口。
- 發展更對稱的決策系統。
- 利用本地網絡讓人類小組更高效地工作。
- 開發世界性的互聯網,使其成為人機結合的工具。
技術奇異點的前景——強人工智能
弱人工智能的特點:依靠快速思維取勝的超級智能。
強人工智能的特點:通過不同帶寬交流的能力,包括高於語言和文字信息的交流方式。
可能阻止技術奇異點來臨的因素
- 大規模的災難,最可能發生的是國家之間相互毀滅的核戰。
- 無論計算機硬件發展到多麼先進的程度,我們都無法讓其「甦醒」。
- 我們大大低估了人類大腦的計算能力,這將使得計算機超越人腦的時間大大延遲。
- 藝術對於人類的阻礙,以及人類的藝術不能讓機器人明白。反對者認為技術發展到一定的時候會停止下來。但是,瑞·庫茨維爾強調:範式轉移會用更大、更優良的方法解決以往技術無法跨越的門檻。他更強調思維轉換發生的時間間隔越來越短,同時會越來越頻繁。
數學模型的現實解釋
在數學模型到達奇異點的意義可以通過進化模式階梯(Evolutionary Paradigm Hierarchy)來解釋。這個階梯強調數學是最宏觀的集合,而物理是數學的一個子集,而化學則是物理的一個子集,生物則是化學的子集,生物圈則是生物的子集。接下來,人類不同地區的文化是生物圈定義出的子集,而政治又是以文化為基礎指法規,最後人類的經濟活動是由政府的法規所規定。
這個階梯強調從宇宙誕生以來,篩選就不斷的進行,能量首先以三維空間的形式出現,定義了宇宙的數學基礎,而萬有引力、強相互作用、弱相互作用、電磁力,還有其他未知的物理常數在三維空間的基礎上定義了能量在宇宙中的物理屬性,而通過這些物理屬性,產生了一百多種元素,而在這些元素中,只有少數幾種像碳原子這樣的原子構造了生物學,在幾億年的生物進化中才造就出人類。又由於每個人類文明所處在的生物圈不同,從而產生了不同的文化和技術進步的速度。而人類的技術進步速度增快的意義則是人對這個階梯上越來越宏觀集合上的掌握。第一步是發現更為宏觀項上基本定理,即牛頓的萬有引力、達爾文的進化論,第二步是開始有足夠的實力去改變自然界原有的定理。所以,可以把人類歷史的發展看成是發現的時代和創造跟改變的時代兩階段。自工業革命以來,我們其實已經進入第二個階段。
該理論的有趣論證是,在一定的時間內有些事情一定會發生。也就是說,人類或早或晚都會發現基本的定理,不管是否由歷史上已經出現的偉人們完成。進入第二個階段以後,發現仍然繼續,但是發明創造成為更為重要的活動。而發明的總的步伐會是倒着往回爬階梯。在後工業時代,人類已經基本上征服和控制生物圈,甚至已經在破壞,全球暖化就是非常好的例子。接下來,人類或人類發明的機器逐漸掌控生物本身,基因科學的發展成為一個很好的例子,然後是化學、物理和數學。最後,人類的技術有可能突破到三維空間以外的地方以其他的方式表達能量的存在。甚至,能量本身是否作為最基本的表現形式也值得懷疑,可能能量本身也是某些東西的一種表現形式而已。但是階梯的概念描述了未來人類的發展方向、技術在人類生活中扮演越來越重要的角色,以及每一次控制能力升級以後所帶來極大的對更小子集掌控與優化。
事件的意義與影響
如果必定發生,技術奇點的意義將非常深遠。人類與宇宙的關係似乎要重新定義。如果技術奇點發生,那麼一些科學幻想中的技術像人腦意識的數字化,無限的生命,甚至超越光速都將成為現實。人類智能將以光速速度在宇宙中殖民和擴散開來,直到充滿整個宇宙。瑞·庫茨維爾強調人類將和機器融合,而機器部分將在2150年左右達到現代人類智能的幾十億倍以上。
對外星人的推測
如果宇宙中大部分適合生命居住的星球產生了類似人類智能的環境,大都應該在很短的時間內達到技術奇點。那麼,人類先尋找外星人似乎是徒勞無功的。因為到達技術奇點以後,人類所創造的智能已經能夠了解到宇宙的全部可能性,尋找外星人似乎變得沒有意義。
關於時間
如果把技術描述成一種不斷突破各種世界中存在的限制的機制的話,而接近最頂端的數學限制又是建立在邏輯基礎之上,那麼邏輯本身也就是一種限制。也就是說時間本身也是一種限制。如果,能夠突破時間的邏輯限制,那麼我們應該生活在未來人類創造的世界裡。話說回來,我們是未來人類的始祖,但是未來人類又是我們的創造者。或者說,最初製造宇宙大爆炸的前因和突破時間限制而可以看到過去、現在和將來所有可能的未來無限技術進步的智能是同一個人,或者說我們無法區分開來他們。有趣的是,如果時間機器確實在未來被製造出來,我們為什麼無法在現在遇見他們?這是霍金已經提出過的問題。但是,事實上,如果技術奇異點發生,那麼未來人類早在宇宙誕生時就在觀察宇宙的進化。他們無須也沒有興趣去看望某一個時段的人類。因為一切像劇本一樣被事先排列好了。而我們現在的存在則證明了技術奇異點在未來發生。甚至可以說,未來的人類為了屏蔽與古代智能的交流而製造了時間,而時間在任何的參照系中都不能看到未來,從而躲避古代人類的追問。所以,我們甚至可以說,我們自己就是未來智能所創造的活化石。
技術奇點的出現似乎預測時間將會終止。在技術奇點到來前的幾秒鐘時間內,所有可發現的東西都將被發現和利用。無限接近技術奇點的時候,似乎所有能夠用來調動的能量將被調用完。以計算機自動機理論的論點來說,這個智能可能會控制所有能量的變換,停止計算。但可能仍然在高維空間計算能量變化。甚至在無理數維度上計算能量,所以時間仍然在某些空間中運行。通過這個觀點,可以把宇宙想象成一個能量逐漸被整理成絕對優化的一個過程。
社團組織
目前全世界最權威的兩家技術奇異點研究中心Singularity Institute for Artificial Intelligence和Acceleration Studies Foundation都設在美國。Singularity Institute for Artificial Intelligence於2000年宣告成立,吸收了瑞·庫茨維爾為榮譽會長,目標是研製出第一個種子人工智能(遞歸自我完善/Seed AI)。而全世界第一次技術奇異點會議於2006年5月於斯坦福大學舉行。
批評
技術奇異點的論證並非嚴密。僅僅從電腦技術正在加速度發展,就得出技術奇異點的發生,推理上不嚴密。
事實上,不少技術領域已經長期處於技術瓶頸難以突破,並不能持續指數增長,例如民用核聚變發電站、常溫超導體、高能量密度且安全的電池技術……。在理論方面,超越標準模型的物理理論與實驗不符,已令相關研究陷入困難。此外,一些新技術雖然是很厲害的創新,但因為不符合經濟適用原則反而被淘汰,如超音速客機、航天飛機等。
《經濟學人》曾嘲笑技術奇異點這個概念:按照這個說法,因為剃鬚刀的刀頭在歷史上數量不斷增多,那麼最終,剃鬚刀的刀頭數量會增加到無窮多個。[9]
註腳
- ^ 1.0 1.1 Huebner, J. A possible declining trend for worldwide innovation. Technological Forecasting and Social Change. 2005, 72 (8): 980–986 [2019-11-13]. doi:10.1016/j.techfore.2005.01.003. (原始內容存檔於2020-10-27).
- ^ Hayden, Thomas. Science: Wanna be an inventor? Don't bother. U.S. News & World Report. 7 July 2005 [10 June 2013]. (原始內容存檔於2013-11-01).
- ^ Adler, Robert. Entering a dark age of innovation. New Scientist. 2 July 2005 [30 May 2013]. (原始內容存檔於2015-04-27).
- ^ Strumsky, D.; Lobo, J.; Tainter, J. A. Complexity and the productivity of innovation. Systems Research and Behavioral Science. 2010, 27 (5): 496. doi:10.1002/sres.1057.
- ^ Gordon, Robert J. Is U.S. Economic Growth Over? Faltering Innovation Confronts the Six Headwinds. NBER Working Paper No. 18315. 2012. doi:10.3386/w18315.
- ^ Ulam, Stanislaw (May 1958), "Tribute to John von Neumann", Bulletin of the American Mathematical Society 64(nr 3, part 2): 1-49
- ^ 李四光,《人類的出現》,節選自《天文、地質、古生物資料摘要》,高級中學課本──語文,第二冊,第216-217頁,人民教育出版社,1995年6月第2版,1996年10月第1次印刷,ISBN7-107-01134-0/G·2401(課)
- ^ Hawkins, Gerald S.(1983), Mindsteps to the Cosmos, HarperCollins
- ^ Anonymous, More blades good, The Economist 378 (8469) (London), 18 March 2006: 85 [2015-08-28], (原始內容存檔於2006-07-10)
參考文獻
- 《The Coming Technological Singularity》,弗諾·文奇,1993,出自《Whole Earth Review》。
- 《弗諾·文奇的幻想世界》,Mick,出自《科幻世界譯文版》,2008.11下半月版,104-108頁。
- 《弗諾·文奇訪談》,Mick,出自《科幻世界譯文版》,2008.11下半月版,118-120頁。
- 《技術奇異點即將來臨:後人類時代生存指南》,弗諾·文奇,出自《科幻世界譯文版》,2008.11下半月版,124-130頁。
- 科技想要什麼
- Acceleration Studies Foundation, ASF: About the Foundation, 2007 [2007-11-13], (原始內容存檔於2008-12-26)
- Anonymous, More blades good, The Economist 378 (8469) (London), 18 March 2006: 85 [2015-08-28], (原始內容存檔於2006-07-10)
- Bell, James John, Technotopia and the Death of Nature: Clones, Supercomputers, and Robots, Earth Island Journal (first published in the November/December 2001 issue of the Earth First! Journal), 2002 [2007-08-07], (原始內容存檔於2018-07-27)
- Bell, James John, Exploring The "Singularity", The Futurist (World Future Society (mindfully.org)), 1 May 2003 [2007-08-07], (原始內容存檔於2007-08-10)
- Berglas, Anthony, Artificial Intelligence will Kill our Grandchildren, 2008 [2008-06-13], (原始內容存檔於2014-07-23)
- Broderick, Damien, The Spike: How Our Lives Are Being Transformed by Rapidly Advancing Technologies, New York: Forge, 2001, ISBN 0-312-87781-1
- Bostrom, Nick, Existential Risks, Journal of Evolution and Technology, 2002, 9 [2007-08-07], (原始內容存檔於2011-04-27)
- Bostrom, Nick, Ethical Issues in Advanced Artificial Intelligence, Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, 2003, 2: 12–17 [2007-08-07], (原始內容存檔於2018-10-08)
- Dreyfus, Hubert L.; Dreyfus, Stuart E., Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer 1, New York: Free Press, 1 March 2000, ISBN 0-7432-0551-0
- Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future, CreateSpace, 2009 [2020-10-11], ISBN 978-1-4486-5981-4, (原始內容存檔於2010-09-06).
- Good, I. J., Franz L. Alt and Morris Rubinoff , 編, Speculations Concerning the First Ultraintelligent Machine, Advances in Computers, Advances in Computers (Academic Press), 1965, 6: 31–88 [2007-08-07], ISBN 9780120121069, doi:10.1016/S0065-2458(08)60418-0, (原始內容存檔於2001-05-27)
- Hanson, Robin, Some Skepticism, Robin Hanson, 1998 [2009-06-19], (原始內容存檔於2009-08-28)
- Hanson, Robin, Economics of the Singularity, IEEE Spectrum, June 2008
- Hawking, Stephen, Science in the Next Millennium: Remarks by Stephen Hawking, 1998 [2007-11-13], (原始內容存檔於2009-06-29)
- Hawkins, Gerald S., Mindsteps to the Cosmos, HarperCollins, August 1983, ISBN 0-06-015156-0
- Heylighen, Francis, Accelerating Socio-Technological Evolution: from ephemeralization and stigmergy to the global brain (PDF), Modelski, G.; Devezas, T.; Thompson, W. (編), Globalization as an Evolutionary Process: Modeling Global Change, London: Routledge, 2007 [2015-08-28], ISBN 978-0-415-77361-4, (原始內容存檔 (PDF)於2021-02-24)
- Hibbard, Bill. Ethical Artificial Intelligence. 5 November 2014. arXiv:1411.1373 [cs.AI].
- Johansen, Anders; Sornette, Didier, Finite-time singularity in the dynamics of the world population, economic and financial indices (PDF), Physica A 294 (3–4), 25 January 2001, 294 (3–4): 465–502 [2007-10-30], Bibcode:2001PhyA..294..465J, arXiv:cond-mat/0002075 , doi:10.1016/S0378-4371(01)00105-4, (原始內容 (PDF)存檔於2007-11-29)
- Joy, Bill, Why the future doesn't need us, Wired Magazine (Viking Adult), April 2000, (8.04) [2007-08-07], ISBN 0-670-03249-2, (原始內容存檔於2014-03-21)
- Kurzweil, Raymond, The Law of Accelerating Returns, Nature Physics (Lifeboat Foundation), 2001, 4 (7): 507 [2007-08-07], Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, (原始內容存檔於2018-08-27)
- Kurzweil, Raymond, The Singularity Is Near, New York: Viking, 2005, ISBN 0-670-03384-7
- Moravec, Hans, Pigs in Cyberspace, On the Cosmology and Ecology of Cyberspace, January 1992 [2007-11-21], (原始內容存檔於2021-02-24)
- Mahmud, Ashik, Post/Human Beings & Techno-salvation: Exploring Artificial Intelligence in Selected Science Fictions, Socrates Journal, June 2015 [2015-06-26], doi:10.7910/DVN/VAELLN, (原始內容存檔於2015-06-26)
- Schmidhuber, Jürgen. New Millennium AI and the Convergence of History. 29 June 2006. arXiv:cs/0606081
|class=
被忽略 (幫助). - Singularity Institute for Artificial Intelligence, Why Artificial Intelligence?, 2002, (原始內容存檔於2006-10-04)
- Singularity Institute for Artificial Intelligence, 3 Laws Unsafe, 2004 [2007-08-07], (原始內容存檔於2011-03-23)
- Singularity Institute for Artificial Intelligence, What is the Singularity?, 2007 [2008-01-04], (原始內容存檔於2007-12-30)
- Smart, John, On Huebner Innovation, Acceleration Studies Foundation, September 2005 [2007-08-07], (原始內容存檔於2006-06-16)
- Ulam, Stanislaw, Tribute to John von Neumann, Bulletin of the American Mathematical Society, May 1958, 64 (nr 3, part 2): 1–49, doi:10.1090/S0002-9904-1958-10189-5
- Vinge, Vernor, The Coming Technological Singularity, Vision-21: Interdisciplinary Science & Engineering in the Era of CyberSpace, proceedings of a Symposium held at NASA Lewis Research Center (NASA Conference Publication CP-10129), 30–31 March 1993 [2007-08-07], (原始內容存檔於2007-01-01). See also this HTML version (頁面存檔備份,存於網際網路檔案館), retrieved on 2009-03-29.
- Warwick, Kevin, March of The Machines, University of Illinois Press, 2004, ISBN 978-0-252-07223-9
延伸閱讀
- Marcus, Gary, "Am I Human?: Researchers need new ways to distinguish artificial intelligence from the natural kind", Scientific American, vol. 316, no. 3 (March 2017), pp. 58–63. Multiple tests of artificial-intelligence efficacy are needed because, "just as there is no single test of athletic prowess, there cannot be one ultimate test of intelligence." One such test, a "Construction Challenge", would test perception and physical action—"two important elements of intelligent behavior that were entirely absent from the original Turing test." Another proposal has been to give machines the same standardized tests of science and other disciplines that schoolchildren take. A so far insuperable stumbling block to artificial intelligence is an incapacity for reliable disambiguation. "[V]irtually every sentence [that people generate] is ambiguous, often in multiple ways." A prominent example is known as the "pronoun disambiguation problem": a machine has no way of determining to whom or what a pronoun in a sentence—such as "he", "she" or "it"—refers.
- Scaruffi, Piero, "Intelligence is not Artificial" (2016) for a critique of the singularity movement and its similarities to religious cults.
- da Silva, Wilson, "Tipping Point?" (頁面存檔備份,存於網際網路檔案館) (2009) for an essay on the singularity movement and its scientific validity.
相關
外部連結
- Intelligence Explosion FAQ (頁面存檔備份,存於網際網路檔案館) by the Machine Intelligence Research Institute
- Blog on bootstrapping artificial intelligence (頁面存檔備份,存於網際網路檔案館) by Jacques Pitrat
- Why an Intelligence Explosion is Probable (Mar 2011)
- Why an Intelligence Explosion is Impossible (頁面存檔備份,存於網際網路檔案館) (Nov 2017)