双码理论
双码理论,又称为双重编码理论(dual coding theory, DCT),是一种认知理论 ,由西安大略大学的艾伦·白斐欧(Allan Paivio)于1971年提出。白斐欧在发展该理论的过程中使用了“形成心像有助于学习”的想法[1]。根据白斐欧的说法,人们可以透过两种方式“语文联想”和“视觉心像”进一步拓展所学的内容。双码理论假设,视觉资讯(visual information)和语文资讯(verbal information)皆为表征资讯的方式[2]。这两种表征方式在处理上有所不同,并沿著不同的心灵通道来处理,从而为每个通道中所处理的资讯创造独自的表征。与这些表征相对应的心理代码被用于组织输入资讯,使其得以操作、储存和提取,以供后续使用。在回忆资讯时,人们会同时使用视觉代码和语文代码[2]。例如,假设一个人将刺激的概念“狗”储存为狗的单词和狗的图像。当要求此人对刺激进行回忆时,此人可以分别回忆单词或图像,也可以同时回忆两者。如果回想起这个词,那么狗的图像就不会丢失,并且仍可以在未来的某个时间点提取。对于刺激的编码,与仅以一种方式编码相比,以两种不同方式来编码的能力提高了记住该项目的机会。
双码理论的局限性一直存在著争议。双码理论并未考虑到“单词和图像以外的其他事物”介导认知的可能性。也尚未进行足够的研究来确定单词和图像是否是我们记住物品的唯一方式,如果发现到另一种形式的代码,这个理论将无法确保其有效性[3]。另一个局限性在于,双码理论只适用于要求人们集中精力识别概念如何相关的测试[1]。如果无法在单词和图像之间建立关联,那么在往后的某个时间点要记住和回忆这个单词就会变得更加困难。尽管这限制了双码理论的有效性,但双码理论在多数情况下仍然有效,并且可用于改善记忆[1]。
代码类型
类比代码用于在心灵中表征图像。类比代码保留了所表征事物的主要知觉特征,因此呈现在我们脑海中的图像与物理刺激高度相似。对于我们在环境中所观察到的物理刺激(例如树木和河流),它们是近乎精确的表征[2]。
符号代码用于形成单词的心理表征。它们以概念的方式表征著某些事物,有时不是知觉表征,而是任意表征,类似于手表可能以数字形式的表征来显示时间资讯。符号代码会以任意的符号形式(例如单词和单词组合)在我们的脑海中表征资讯,借此表示一些想法。每个符号(x, y, 1, 2,等等)能够任意地表征它本身以外的其他事物。例如,字母x通常用于表征字母的第24个字母“x”的概念。它可以用来表征数学中的变量x,也可以用来表征方程式中的乘法符号。因为我们任意指定了一个更深层的概念给“x”,像乘法这样的概念才能够以“x”符号来表征。只有当我们以它来表征这个更深层的概念时,字母“x”才会带有这种含义。
支持
心理研究的证据
许多研究人员已经同意,在心理表征中只会使用到单词和图像。[3]有支持性证据表明,如果同时呈现相关的视觉效果,或是想像与语文资讯相匹配的视觉图像,那么对学习者而言,一些语文资讯的记忆就会获得加强。 同理,当视觉资讯与相关的语文资讯(无论是真实的还是想像的)相匹配时,视觉资讯通常也可以获得增强。[4] 该理论已被应用于多媒体演示。 由于多媒体演示需要空间和语文的工作记忆,因此如果个体具有双码资讯,在之后的测试中则更有可能回忆起这些资讯。[5]此外,对抽象词汇和具体词汇的研究也发现,受试者对具体词汇的记忆比抽象词汇还要好。[6][7][8]
白斐欧发现,给受试者观看一连串快速展示的图片及单词,然后要求受试者以任意顺序回想单词和图片,受试者皆对图片的回忆显得更为擅长。然而,受试者更轻易地回忆起单词顺序而不是图片顺序。这些结果支持了白斐欧的假设,即语文资讯与视觉资讯的处理方式不同,当记忆任务需要进行顺序回忆时,语文资讯的回忆表现就会优于视觉资讯[9]。布鲁克斯(Lee Brooks)曾进行过一项实验,为两个记忆系统提供了额外支持。他让受试者进行视觉任务或语文任务,进行视觉任务时,受试者必须观看一幅图片,并回答关于图片的问题;进行语文任务时,他们会听到一个句子,然后被要求回答与该句子有关的问题。关于回答问题的方式,参与者被要求以语文、视觉或手动的方式进行回答。透过这个实验,布鲁克斯发现,当视知觉与视觉任务之操作相混合时,就会产生干扰,而语文反应则与要手动操作的语文陈述任务发生干扰。这支持了资讯在心理上是以两种代码来表示的观点[2]。
巴德利提出的工作记忆包括两部分处理系统“视觉空间写生板”和“语音循环”,这实质上对应了白斐欧的理论。
双编码理论可用来补充阅读的双通路理论。当人们阅读书面资讯时,双通路理论认为,读者透过获取字形和语音资讯来辨识文字中的单词。
白斐欧的成果对识字、视觉记忆术、意念生成、人类绩效技术(HPT)、人因、界面设计以及教材开发等皆有所影响。它也影响了认知科学和计算认知模型(像是双重历程认知模型的形式或其它;如[10][11][12])以及认知机器人学。
认知神经科学支持
对于视知觉与视觉心像之相关区域的辨识,已使用了两种不同的方法。第一种方法是功能性磁共振成像(fMRI),用于测量大脑血流,血液流量的增加提供了衡量大脑活动的方法,这使研究人员得以确定大脑特定部位的葡萄糖和氧气的消耗量。第二种方法是事件相关电位(ERP),可用于显示由特定刺激所产生的脑电活动之数量。研究人员已经使用这两种方法来确定,在不同刺激下,大脑哪些区域会被激活,其结果支持了双码理论。其他的研究则用正电子发射断层扫描(PET)和fMRI来完成,显示出在与假想图像或真实图像配对时,受试者对口语单词和口语句子的记忆有所改善。另外研究也显示出,当受试者处理那些不易与图像配对的抽象词汇时,大脑活动会增加。[13]
替代理论
双码理论并非所有人都接受。约翰·安德森和戈登·鲍尔提出了一种知识心理表征的替代方法“命题理论”。命题理论主张,心理表征是以“命题”的方式储存,而非以“图像”的方式储存。这边所指的命题被定义为处于概念联系中的深层含义[2]。该理论指出,因为知识不以图像、单词或符号的形式来表征,因此图像是其他认知历程的结果。
此外,共同编码理论也被提了出来,用来作为双码理论的替代方案。共同编码理论著重于我们所看到和听到的事物是如何与我们的动作产生联系。该理论声称在“事物知觉”与相应的“运动动作”之间共享著一个共同的代码。
参见
参考文献
- ^ 1.0 1.1 1.2 Reed, Stephen K. Cognition : theories and applications. Cognition Theories and Applications 8th ed. Australia: Wadsworth Cengage Learning. 2010. ISBN 978-0-495-60230-9. OCLC 426047716.
- ^ 2.0 2.1 2.2 2.3 2.4 Sternberg, R. J. Cognitive theory (3rd ed.). Belmont, CA: Thomson Wadsworth. 2003.
- ^ 3.0 3.1 Pylyshyn, Zenon W. What the mind's eye tells the mind's brain: A critique of mental imagery.. Psychological Bulletin. 1973, 80 (1): 1–24. ISSN 0033-2909. doi:10.1037/h0034650 (英语).
- ^ Anderson, John R. Human Associative Memory.. Taylor and Francis. 2014. ISBN 978-1-317-76988-0. OCLC 871224620.
- ^ Brunyé, Tad T.; Taylor, Holly A.; Rapp, David N. Repetition and dual coding in procedural multimedia presentations. Applied Cognitive Psychology. 2007, 22 (7): 877–895. ISSN 0888-4080. doi:10.1002/acp.1396.
- ^ Hargis, Gickling, Charles H, Edward E. The Function of Imagery in Word Recognition Development. The Reading Teacher. May 1978, 31: 870–874 –通过JSTOR.
- ^ Sadoski, Mark; Willson, Victor L.; Holcomb, Angelia; Boulware-Gooden, Regina. Verbal and Nonverbal Predictors of Spelling Performance. Journal of Literacy Research. 2004, 36 (4): 461–478. ISSN 1086-296X. doi:10.1207/s15548430jlr3604_2 .
- ^ Yui, Lin; Ng, Roslin; Perera-W.A., Hiran. Concrete vs abstract words – what do you recall better? A study on dual coding theory. dx.doi.org. 2017-01-14 [2020-03-18].
- ^ Paivio, Allan. Mental imagery in associative learning and memory.. Psychological Review. 1969, 76 (3): 241–263. ISSN 0033-295X. doi:10.1037/h0027272.
- ^ Anderson, John Robert. Cognitive psychology and its implications : John R. Anderson.. Worth Publishers. 2005. ISBN 0-7167-0110-3. OCLC 587804014.
- ^ Just, Marcel Adam; Newman, Sharlene D; Keller, Timothy A; McEleney, Alice; Carpenter, Patricia A. Imagery in sentence comprehension: an fMRI study. NeuroImage. 2004, 21 (1): 112–124. ISSN 1053-8119. doi:10.1016/j.neuroimage.2003.08.042.
- ^ Sun, Ron, 1960-. Duality of the mind : a bottom-up approach toward cognition. Routledge. 2012. ISBN 0-8058-3880-5. OCLC 858009136.
- ^ Crosson, Bruce; Ford, Anastasia; McGregor, Keith M.; Meinzer, Marcus; Cheshkov, Sergey; Li, Xiufeng; Walker-Batson, Delaina; Briggs, Richard W. Functional imaging and related techniques: An introduction for rehabilitation researchers. The Journal of Rehabilitation Research and Development. 2010, 47 (2): vii. ISSN 0748-7711. doi:10.1682/jrrd.2010.02.0017 .
参考文献
- Anderson, J. R. (2005). Cognitive Psychology and its implications. New York: Worth Publishers.
- Anderson, J. R. & Bower, G. H. (1973). Human associative memory. Washington, DC: Winston.
- Baddeley, A. D. (1986). Working memory. Oxford: Oxford University Press.
- Brunye, T. T., Taylor, H. A., & Rapp, D. N. (2008). Repetition and dual coding in procedural multimedia presentations. Applied Cognitive Psychology, 22, 877-895.
- Denis, M. and Mellet, E. (2002). Neural bases of image and language interactions. International Journal of Psychology, 37 (4), 204-208.
- Hargis, C. H., & Gickling, E. E. (1978). The function of imagery in word recognition development. The Reading Teacher, 31(8), 870-874.
- Just, M. et al. (2004). Imagery in sentence comprehension: an fMRI study. NeuroImage 21, 112-124.
- Mayer, R. E. & Moreno, R. (2003). Nine ways to reduce cognitive load in multimedia learning. Educational Psychologist, 38(1), 43-52.
- Moreno, R., & Mayer, R. E. (2000). A coherence effect in multimedia learning: the case for minimizing irrelevant sounds in the design of multimedia instructional messages. Journal of Educational Psychology, 92, 117-125.
- Yui L, Ng R, Perera-W.A. H. (2017). Concrete vs abstract words – what do you recall better? A study on dual coding theory. PeerJ Preprints 5:e2719v1https://doi.org/10.7287/peerj.preprints.2719v1
- Paivio, A (1969). Mental Imagery in associative learning and memory. Psychological Review, 76(3), 241-263.
- Paivio, A (1971). Imagery and verbal processes. New York: Holt, Rinehart, and Winston.
- Paivio, A (1986). Mental representations: a dual coding approach. Oxford. England: Oxford University Press.
- Sternberg, Robert J. Cognitive psychology fourth edition. Thomson Wadsworth. 2006: 234–36. ISBN 0-534-51421-9.
- Pylyshyn, Z. W. (1973). What the mind's eye tells the mind's brain: A critique of mental imagery. Psychological Bulletin, 80, 1-24.
- Reed, S. K. (2010). Cognition: Theories and application (8th ed.). Belmont, CA: Wadsworth Cengage Learning.
- Sadoski, M., Willson, V. L., Holcomb, A., & Boulware-Gooden, R. (2005). Verbal and nonverbal predictors of spelling performance. Journal of Literacy Research, 36, 461–478.
- Sternberg, R. J. (2003). Cognitive theory (3rd ed.). Belmont, CA: Thomson Wadsworth.
- Sun, R. (2002). Duality of the Mind. Mahwah, NJ: Lawrence Erlbaum Associates.
- Thomas, N. J.T., "Mental imagery", The Stanford Encyclopedia of Philosophy (Winter 2011 Edition), Edward N Zalta (ed.)