聯結主義

聯結主義（英語：Connectionism）是認知科學領域的一種方法，期望能夠以人工神經網路（ANN）來解釋人腦、心理、精神及心靈等現象。

具有隱藏層的連結（ANN）模型

基本原則

聯結主義的中心原則是認為，心理及精神現象，可以通過簡單且經常一致的單元互相聯結的網路來描述。不同模型的聯結及單元形式可以有所不同。例如，網路的單元及聯結可以分別表示神經元及突觸，如同人腦那樣。

擴散激活

在大多數聯結主義模型中，網路會隨着時間而變化。聯結主義模型的一個密切且普遍的特徵是激活 。任何時候，網路中的單元都會有個激活，而該激活是表示該單元在某方面的數值。例如，如果模型中的單位是神經元，則激活可以表示神經元產生動作電位峰值的概率 。激活通常會傳遞到與其聯結的所有其他單元。擴散激活一直是神經網路模型的特徵，而該特徵在認知心理學家使用的聯結主義模型中也很常見。

神經網路

主條目：神經網絡

迄今為止，神經網路是最常用的聯結主義模型。儘管神經網路模型種類繁多，但它們幾乎始終遵循關於思維的兩個基本原則：

1. 任何心理狀態都可以描述為網路中神經單元上數字激活值的N維向量。
2. 記憶是透過修改神經單元之間的聯結強度來創建的。聯結強度或「權重」通常表示為N×N矩陣。

大多數神經網路模型中的變化來自：

• 單元的解釋（interpretation of units）：單元可以解釋為神經元或神經元組。
• 激活的定義（definition of activation）：激活可以透過多種方式進行定義。例如，在玻爾茲曼機中，激活被解釋為產生動作電位尖峰的概率，並透過邏輯函數確定輸入到單元的總和。
• 學習演算法（learning algorithm）：不同的網路以不同的方式修改其聯結。通常，聯結權重會隨時間的改變，用於該變化的數學定義都稱為「學習演算法」。

聯結主義者一致認為，與前饋神經網路（無循環的有向網路，稱為DAG）相比，循環神經網路（其中的網路聯結可以形成有向循環的有向網路）是更好的大腦模型。許多遞迴聯結主義模型也納入了動力學系統理論。許多研究者，例如聯結主義者保羅·斯莫林斯基，皆認為聯結主義模型將朝着完全地連續、高維度、非線性的動態系統方式發展。

生物現實主義

一般而言，聯結主義者的工作不需要具有生物學上的現實意義，因此缺乏神經科學的合理性。

學習

神經網路中的權重根據某些學習規則或演算法（如赫布學習）進行調整。因此，聯結主義者為神經網路創建了許多複雜的學習過程。學習總是涉及修改聯結權重。通常，給定的數據集由神經單元的某個子集的激活向量組成時，這些公式會涉及到數學公式，以確定權重的變化。設計基於聯結主義的教學方法是近年來研究的熱點。

藉由這種方式正規化學習，聯結主義者能夠使用許多工具。在聯結主義的學習方法中，有一種很常見的策略是在以權重矩陣所定義的空間中，於該空間的誤差表面與梯度下降合併。在聯結主義者模型中，所有梯度下降學習都涉及透過誤差表面對應於權重的偏導數來更改每個權重。反向傳播（BP）最早流行於1980年代，它可能是當今最普遍的聯結主義梯度下降算法。

歷史

聯結主義的思想可以追溯到一個世紀以前，在20世紀中後期之前，這些思想仍僅止於猜測。

分散式平行處理（PDP）

當今流行的聯結主義方法，最初稱為分散式平行處理 （英語：Parallel distributed processing，PDP），是一種人工神經網路方法，強調了神經處理的並行性以及神經表徵的分散性，為研究人員提供了一個通用的數學框架。主要包括八個方面：

• 一組處理單元，由一組整數表示。
• 單元的激活，由時間相關函數的向量表示。
• 單元的輸出函數，由激活函數的向量表示。
• 單元之間的連通性模式，由表示聯結強度的實數矩陣表示。
• 透過聯結傳播激活的傳播規則，以單位輸出上的函數表示。
• 激活規則，用於組合送到單元的輸入，以確定單元有新的激活，由當前激活和傳播函數表示。
• 根據經驗修改聯結的學習規則，以基於任意數量的變量的權重變化表示。
• 為系統提供經驗的環境，以單元之中某些子集的激活向量集表示。

許多造成PDP發展的研究都是在1970年代完成，但是直到1980年代出版了《 分散式平行處理：認知微觀結構的探索》第一卷（基礎）及第二卷（心理和生物學模型），作者為詹姆斯·L·麥克萊蘭德 ，戴維·E·魯梅爾哈特和PDP研究小組，PDP才開始流行。 如今，這些書被認為是有著巨大影響的聯結主義著作，雖然書中未使用過「聯結主義」一詞，但仍普遍視PDP等同於聯結主義。

早期工作

PDP的直接根源是研究人員的感知器理論，例如1950年代和1960年代的弗蘭克·羅森布拉特。但是，由馬文·閔斯基和西摩爾·派普特在1969年出版的《 感知器 》一書，使感知器模型變得非常不得人心。它詳述了單層（無隱藏層）感知器計算功能的局限性，甚至無法執行如異或問題 （exclusive disjunction，如判斷這是蘋果還是桔子，但不是二者皆是）這樣的簡單功能。 藉由證明多層次非線性神經網路更加強大，並可用於大量的函數陣列，PDP克服了這項難關。

許多早期的研究人員提倡聯結主義風格的模型，例如1940年代和1950年代的沃倫·麥卡洛克、沃爾特·皮茨 （ MP神經元 ）、唐納德·赫布和卡爾·拉什利。麥卡洛克和皮茨展示了神經系統如何實現一階邏輯 ：其經典論文《神經活動中內在思想的邏輯演算》（1943）深深影響了這方面的發展，而他們則是受到了尼古拉斯·拉舍夫斯基在1930年代的重要成果之影響。赫布對神經功能的推測做出了巨大貢獻，並提出了一種叫做赫布學習的學習原則 ，一直使用至今。拉什利（Lashley）主張採用分散式表示法，這是因為他在多年的病變實驗中，並未發現任何類似於局部印跡的東西。

PDP以外的聯結主義

雖然PDP是聯結主義的主要形式，但還有其他理論工作也應歸類為聯結主義。

許多聯結主義的原理可以追溯到心理學的早期工作，例如威廉·詹姆士。 基於人腦知識的心理學理論在19世紀後期很流行。早在1869年，神經學家約翰·休格林·傑克遜就主張多層次分散式系統。在此基礎上，赫伯特·斯賓塞的《心理學原理 》第3版（1872年）和西格蒙德·弗洛伊德的《科學心理學計劃》（1895年）提出了聯結主義或原型聯結主義理論，而這些往往只是推測性的理論。到了20世紀初，愛德華·桑戴克進行了嘗試建立聯結型網路的實驗。

弗里德里希·哈耶克在1920年發表的一篇論文中，獨立構思了赫本突觸學習模型，將該模型發展成由赫本突觸網路所構成的「全球腦理論」，構成更大的地圖系統和記憶網路。弗蘭克·羅森布拉特在其感知器論文中引用了哈耶克的突破性成果。

聯結主義模型的另一種形式，是由語言學家悉尼·蘭姆在1960年代開發的關係網路框架。關係網路僅由語言學家使用，從未與PDP方法統一，因此，現今很少研究人員使用。

另外還有混合聯結主義模型，主要是將符號表徵與神經網路模型混合在一起。一些如孫融的研究人員提倡混合方法。

聯結主義與計算主義之爭

隨着聯結主義在1980年代後期變得越來越流行，一些研究人員（包括傑瑞·福多，史迪芬·平克等）對此表示反對。他們認為，隨着當時的發展，聯結主義威脅到經典的計算主義方法，並抹去認知科學和心理學領域正在取得的進步。計算主義是認知主義的一種特殊形式，認為心理活動是計算性的，也就是說，大腦透過對圖靈機之類的符號，執行純粹的形式運算來進行操作。一些研究人員認為，聯結主義的趨勢代表着聯想主義的回歸，以及對思想語言概念的放棄，而他們對此感到不以為然。相比之下，聯結主義的趨勢使得聯結主義對其它研究人員而言，變得更具吸引力。

聯結主義和計算主義不必然矛盾，但是在1980年代末和1990年代初的爭論，造成了兩種方法之間的對立。在整個爭論中，一些研究人員認為，儘管尚未就此問題完全達成共識，但是聯結主義和計算主義可完全兼容。兩種方法的差異包括：

• 計算主義者假定符號模型在結構上類似於大腦的底層結構，而聯結主義者則進行「低層次」建模，以確保其模型類似於神經結構。
• 一般來說，計算主義者專注於關注外在符號的結構（心智模型）和內部操作的句法規則，而聯結論者則關注從環境刺激中學習，並以神經元之間的聯結形式儲存此資訊。
• 計算主義者認為，內在的心理活動是由顯式符號的操作組成，而聯結主義者認為，對於心理活動，顯式符號的操作會給出拙劣模型。
• 計算主義者通常會假設存在領域特定的符號子系統，輔助特定認知領域的學習（例如語言、意圖、數字），而聯結主義者則提出一個或一小部分的通用學習機制。

儘管存在這些差異，一些理論家提出，聯結主義架構只是有機大腦碰巧實現符號操作系統的一種方式。這在邏輯上是可能的，因為眾所周知的事實，聯結主義模型可以實現計算主義模型中的符號操作系統，如果這個模型要解釋人類執行「符號操作任務」的能力，則確實必須做到這一點。但爭論的焦點在於這種符號操作是否構成了一般認知的基礎，所以這並不是對計算主義的潛在辯護。然而，舉例來說，計算性描述可能有助於對邏輯認知的高級描述。

爭論主要集中在邏輯論點上，即聯結主義網路是否能產生「這種在推理中觀察到的句法結構」。儘管聯結主義的處理過程在大腦中不太可能實現，，但後來仍實現了這樣的句法結構，因此爭論仍在持續。截至2016年,神經生理學進展和一般神經網路的理解的進步，導致了很多此類的早期問題得以成功地建模,因此，關於基本認知的爭論在很大程度上取決於贊成聯結主義的神經科學家。然而，這些近期的發展尚未在心理學或心靈哲學等其他領域中達成共識。

近年來，動態系統流行於心靈哲學領域，為這一爭論提供了新的視角; 一些作者現在認為，聯結主義和計算主義之間的任何分裂，更確切地說是計算主義和動態系統之間的分裂。

2014年， DeepMind的艾力克斯·格雷夫斯等人發表了一系列論文，描述了一種新型的深度神經網路結構，稱為神經圖靈機。該結構能夠讀取磁帶上的符號，並將符號儲存在記憶體中。關係網路是DeepMind發行的另一個深度網路模塊，能夠創建類似客體的表徵形式，並操縱它們來回答複雜的問題。關係網路和神經圖靈機進一步證明了聯結主義和計算主義不必矛盾。

參見

• 聯想主義 (聯念論)
• 人工智能
• 行為主義
• 自組織映射
• 泛魔識別架構
• 機器學習
• 特徵整合論
• 消除唯物主義
• 控制論

參考文獻

• 大衛·魯梅爾哈特（Rumelhart, D.E.）、詹姆斯·麥克萊（J.L. McClelland）和PDP研究小組(1986)：平行分布式處理: Explorations in the Microstructure of Cognition.第1冊: Foundations，Cambridge, MA: MIT Press
• 詹姆斯·麥克萊（McClelland, J.L.）、大衛·魯梅爾哈特（D.E. Rumelhart）和PDP研究小組(1986)：平行分布式處理: Explorations in the Microstructure of Cognition.第2冊:心理和生物模型，Cambridge，MA: MIT Press
• Pinker, Steven and Mehler, Jacques (1988). 聯結和Symbols, Cambridge MA: MIT Press.
• Jeffrey L. Elman, Elizabeth A. Bates, Mark H.Johnson, Annette Karmiloff-Smith, Domenico Parisi, Kim Plunkett (1996). Rethinking Innateness: A 聯結主義 perspective on development，Cambridge MA: MIT Press.
• Marcus, Gary F. (2001). The Algebraic Mind: Integrating 聯結主義和認知科學(學習、發展和Conceptual Change), Cambridge, MA: MIT Press

外部連結

• 聯結主義簡史
• Dictionary of Philosophy of Mind entry on connectionism （頁面存檔備份，存於網際網路檔案館）
• Stanford Encyclopedia of Philosophy entry on 聯結主義 （頁面存檔備份，存於網際網路檔案館）
• A demonstration of Interactive Activation and Competition Networks （頁面存檔備份，存於網際網路檔案館）

• 關於聯結主義的心靈哲學詞典 （頁面存檔備份，存於網際網路檔案館）
• Garson, James. Connectionism. 扎爾塔, 愛德華·N (編). 《史丹佛哲学百科全书》. 
• 互動激活和競爭網路的演示 （頁面存檔備份，存於網際網路檔案館）
• Connectionism. 《網際網路哲學百科全書》. 
• 對聯結主義的批判 （頁面存檔備份，存於網際網路檔案館）