（教育技术学专业论文）基于认知负荷理论的多媒体界面设计研究.pdf

摘要 摘要 多媒体把文字、图形、声音、动画、视频等多种元素结合起来，内容丰富、画面精彩， 比单一媒体呈现更生动，能提供更丰富的信息呈现方式。因此，随着计算机和网络技术的 普及，多媒体被普遍应用于教学和学习过程中，给教育教学带来了新的机遇。然而，是不 是越丰富的信息呈现就能取得越好的学习效果呢? 近年来，人们越来越认识到要提高多媒 体教学的效果，必须依据多媒体环境下学习者的认知规律来设计多媒体学习材料。 近年来，国外对多媒体学习研究领域经历了传输媒体观、表征方式观和感觉通道观三 个阶段，这三种观点代表了对多媒体学习研究的一个逐渐深入的发展过程。认知负荷理论 目前已经成为用于描述多媒体学习中认知过程的一个基本理论，对多媒体学习环境进行恰 当的设计，有效控制认知负荷是非常需要的。多媒体界面是学习者和多媒体学习材料的交 互通道，界面内容的呈现方式将直接影响到学习者获取信息的效果和效率。 本论文主要从认知负荷理论出发，重点探讨多媒体界面信息的设计策略。首先，对多 媒体与多媒体呈现方式作一说明，并整理相关研究。接下来阐述了双重编码理论、认知负 荷理论等多媒体学习理论；在此基础上，归纳了多媒体学习中的认知负荷效应，详细的分 述了基于认知负荷理论的多媒体界面要素设计；并结合实际案例分析，探讨符合学习者认 知规律的多媒体界面设计方法；最后设计了一个实地实验，从不同的多媒体环境的角度出 发，探讨外语学习中不同的多媒体呈现方式对学习者认知负荷及学习效果的影响。 关键词：多媒体；多媒体学习；认知负荷；双重编码理论；界面设计 a b s t r a e t a b s t r a c t m u l t i m e d i ac o m b i n e st e x t ，g r a p h i c s ，s o u n d ，a n i m a t i o n ，v i d e oa n do t h e re l e m e n t st o g e t h e r , w h i c hi sf u l lo fc o n t e n ta n dw o n d e r ，p r o v i d i n gm o r ei n f o r m a t i o n ，a n dm o r ev i v i dt h a nas i n g l e k i n do fm e d i a t h er a p i dd e v e l o p m e n ta n dw i d ea p p l i c a t i o no fm u l t i m e d i ac o m p u t e r sh a v e o f f e r e dn e wo p p o r t u n i t i e sf o re d u c a t i o n ，m e a n w h i l e ，t h ew i d es p r e a do fm u l t i m e d i at e c h n o l o g y a n dt h ea d v e n to ft h ei n t e m e tc r e a t en e we n v i r o n m e n tf o rl e a r n i n g h o w e v e r ，w h e t h e rt h em o r e a b u n d a n ti n f o r m a t i o nw i l lb em o r ee f f e c t i v e n e s sf o rl e a r n i n g ? i nr e c e n ty e a r s ，p e o p l er e a l i z e m o r ea n dm o r et h a tw em u s td e s i g nt h em u l t i m e d i am a t e r i a l sa c c o r d i n gt ot h el e a r n e r sc o g n i t i v e l a wt or a i s et h er e s u l to ft e a c h i n go fm u l t i m e d i a i nr e c e n ty e a r s ，t h ef o r e i g nr e s e a r c hf i e l do fm u l t i m e d i al e a r n i n ga d v a n c er a p i d l yf r o m d e l i v e r ym e d i av i e wt op r e s e n t a t i o nm o d e sv i e w , a n dt h e nt os e n s o r ym o d a l i t i e sv i e w t h e s e t h r e ev i e w p o i n t sh a v er e p r e s e n t e dt h ed e v e l o p i n gp r o c e s sw h i c hp e n e t r a t e sg r a d u a l l yt o m u l t i m e d i as t u d yr e s e a r c h c o g n i t i v el o a dt h e o r yh a sb e c o m eo n eo ft h ef u n d a m e n t a lt h e o r i e s u s e dt od e s c r i b et h ec o g n i t i v ep r o c e s s e si nl e a r n i n gw i mn e wt e c h n o l o g i e s i ti sv e r yi m p o r t a n t t oc o n t r o lt h ec o g n i t i v el o a de f f e c t i v e l yf o r t h ea i mo fd e s i g nt h em u l t i m e d i al e a r n i n g e n v i r o n m e n tp r o p e r l y m u l t i m e d i ai n t e r f a c ei st h em u t u a lc h a n n e lb e t w e e nl e a r n e r sa n d m u l t i m e d i am a t e r i a l s t h er e p r e s e n t a t i o nf o r mo ft h ei n t e r f a c ew i l li n f l u e n c et h er e s u l ta n d e f f i c i e n c yt h a tl e a r n e r so b t a i ni n f o r m a t i o nd i r e c t l y t h i st h e s i sp r o c e e d sf r o mc o g n i t i v el o a dt h e o r y , a n dm a i n l yf o c u s i n go nt h ed e s i g no f m u l t i m e d i ai n t e r f a c ei n f o r m a t i o ns t r a t e g y a tf i r s t ，t h et h e s i sm a k e sas t a t e m e n ta b o u tt h e m u l t i m e d i aa n dm u l t i m e d i ap r e s e n t a t i o n , a n dm o r e o v e rs u m m a r i e sr e l a t e dr e s e a r c h a n dt h e n ， t h et h e s i se x p o u n d sr e l a t e dm u l t i m e d i al e a r n i n gt h e o r ys u c ha sd u a lc o d i n gt h e o r y , c o g n i t i v e l o a dt h e o r y , a n ds oo n b a s e do nt h o s et h e o r i e s ，t h et h e s i ss u mu pc o g n i t i v el o a de f f e c t si n m u l t i m e d i al e a r n i n g ，e x p a t i a t e sd i f f e r e n ti n t e r f a c ee l e m e n t s d e s i g nm e t h o d sb a s e do nc o g n i t i v e l o a dt h e o r yd e t a i l e d l y , a n dd i s c u s s e st h em e t h o do fm u l t i m e d i ai n t e r f a c ed e s i g nw h i c hi n a c c o r d a n c ew i t ht h el e a m e f sc o g n i t i v el a wf r o mt h ep o i n to fa c t u a lc a s e sa l s o f i n a l l y , a n e x p e r i m e n th a sb e e nm a d et oe x a m i n et h es t u d ye f f e c t sa n dc o g n i t i v el o a do ft h ef o r e i g n l a n g u a g es t u d yi nd i f f e r e n tm u l t i m e d i al e a r n i n ge n v i r o n m e n t k e yw o r d s ：m u l t i m e d i a ，m u l t i m e d i al e a r n i n g ，c o g n i t i v el o a d ， d u a lc o d i n gt h e o r y , i n t e r f a c ed e s i g n 曲阜师范大学博士硕士学位论文原创性说明 ( 在口划“4 ) 本人郑重声明：此处所提交的博士口硕士口论文基于认知负荷理 论的多媒体界面设计研究，是本人在导师指导下，在曲阜师范大学攻读博士 口 硕士口学位期间独立进行研究工作所取得的成果。论文中除注明部分外 不包含他人已经发表或撰写的研究成果。对本文的研究工作做出重要贡献的 个人和集体，均已在文中以明确的方式注明。本声明的法律结果将完全由本 人承担。 作者签名：扪、5 霜甥p 日期：2 - o 蛩8 ，7 曲阜师范大学博士硕士学位论文使用授权书 ( 在口划“ ) 基于认知负荷理论的多媒体界面设计研究系本人在曲阜师范大学攻 读博士口硕士口学位期间，在导师指导下完成的博士口硕士口学位论文。 本论文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其他单位 的名义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的规定， 同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅 和借阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存论文， 可以公开发表论文的全部或部分内容。 作者签名：孔、傣硐p日期：矽墨6 ，7 导j j 甲硌如撕 日期沙j7 雠瞬耵吓 第一章绪言 第一章绪言 第一节课题的提出及研究现状 一、论文研究主题的提出 随着时代的发展、计算机技术的日趋成熟，多媒体在教学中的应用如雨后春笋。多媒 体把文字、图形、声音、动画、视频等多种元素结合起来，内容丰富、画面精彩，比单一 媒体的呈现生动，能提供更丰富的信息呈现方式。但是媒体的呈现方式是否与学生的认知 规律相符合，是否会产生理想的学习效果，仍然是一个值得探讨的问题。对于信息接受方 的学生而言，是不是呈现方式越丰富的信息就能越有效的接受信息内容呢? 笔者经过文献 调研发现，近年来已经有相关研究表明，不良的媒体组合会增加学习过程的认知负荷，妨 碍多媒体学习的有效性。 澳大利亚学者s w e l l e r 提出了认知负荷( c o g n i t i v el o a d ) 这一概念，他指出认知负荷与短 时工作记忆内的记忆单位数目有关。当学习过程中的信息处理数量过大，超过了学习者所 能负荷的记忆量时，学习就会受阻。例如我们通过互联网查阅资料时就很容易出现这样 的情况：大量的图片和文字让人觉得无所适从，从而浪费很多的时间和精力。认知负荷理 论目前已经成为用于描述多媒体学习中认知过程的一个基本理论。对多媒体学习环境进行 恰当的设计，有效控制认知负荷是非常需要的。 多媒体界面是学习者和多媒体学习材料的交互通道，界面内容的呈现方式将直接影响 到学习者获取信息的效果和效率。本论文主要从认知负荷理论出发，重点探讨多媒体界面 信息的设计策略。 二、相关的课题研究现状 1 国外研究 近年来，国外对多媒体学习研究领域中形成了三种观点，分别是传输媒体观、表征方 式观和感觉通道观，这三种观点代表了对多媒体学习研究的一个逐渐深入的发展过程。早 期的研究集中于对媒体效应的研究，比较一种媒体是否好于另一种媒体。如比较使用计算 机教学的形式是否比课本更有效。大量的研究逐步证实：基于计算机和基于课本的媒体形 式都有可能产生有效的教学，也可能产生无效的教学；导致媒体有效性的主要因素应是教 学信息设计的质量。由此研究者将研究集中于学习材料的表征方式和信息的加工通道上， 强调多媒体的信息呈现方式及以听觉视觉的方式加工。在研究过程中研究者逐步意识到， 在多媒体学习过程中学习者头脑中的认知负荷需要特别关注( c l a r k ，1 9 9 9 ；s w e l l e r , 1 9 9 9 ； s w e l l e r j c o g n i t i v el o a dd u r i n gp r o b l e ms o l v i n g ：e f f e c t so nl e a r n i n g 【j 】c o g n i t i v es c i e n c e ，1 9 8 8 ，( 1 2 ) 2 5 7 - 2 8 5 第一章绪言 m a y e r , 2 0 0 2 ；v a ng e r v e n ，2 0 0 3 ；j l p l a s s ，2 0 0 6 ) 。 认知负荷理论在9 0 年代得以扩充和发展，成为提供人们观察认知过程和进行教学设 计的主要理论。如多媒体学习或基于w e b 教学的一个基本理念( m a y e r , 2 0 0 1 ；n i e g e m a n n ，2 0 0 1 ； k a l y u g a , a y r e s ，c h a n d l e ，& s w e l l e r , 2 0 0 3 ) 。最近关于多媒体学习的研究，研究者通常采用认 知负荷理论来对不同的学习结果加以解释( b r u n k e n ，s t e i n b a c h e r ，2 0 0 1 ；p l a s s & l e u t n e r , 2 0 0 2 ) 研究者认为该理论可以为预测多媒体和基于w e b 学习的有效性提供理论方法，应该是教学 设计的总原贝o ( b m n k e n & l e u t n e l 2 0 01 ；h l e e ，j a nl p l a s s & b r u c ed h o m e r , 2 0 0 6 ) 。 m a r t i nv a l c k e 将先前知识结合到认知负荷理论中，提出了有关多媒体教学的认知负荷 理论模型，该模型认为认知负荷与学习者的努力成正比，而与学习者的先前知识和能力成 反比。 图1 - 1 多媒体教学的认知负荷理论模型 2 国内研究 在国内，陈琦及其课题组曾对多媒体环境下的学习及其效果做了一些实证研究，其研 究包括多媒体环境下的自主学习、概念导航图、超媒体环境中的基于问题的学习等。这些 研究主要是利用计算机媒体较之其他媒体的独有特性而展开的，如计算机的交互性带来的 学习材料随着学习者的学习反应而发生变化；将多媒体信息以超文本结构呈现，当学习者 对各层节点访问时记录下他们的学习情况；但对学习材料的呈现组织方式与信息加工过程 学习者的认知负荷情况未做研究。 通过近期的文献调研发现，在国内有关认知负荷理论及应用方面的研究非常有限( 莫 雷等，2 0 0 0 ；辛自强等，2 0 0 2 ；尉立萍等，2 0 0 2 ；赖日生等，2 0 0 5 ；刘连娣，2 0 0 6 ) ，其 中大部分从理论上阐述了认知负荷理论和教学设计之间的关系，以认知负荷观点探讨多媒 体设计的论文更为少见。龚德英的硕士论文( 2 0 0 3 ) 的多媒体学习中增加相关认知负荷影 响学生学习的实验研究中验证了背景音乐、学习归纳任务及元认知负荷对学习的影响。 陈红艳的硕士论文( 2 0 0 4 ) 多媒体呈现方式对认知负荷与学习成效的影响对文本、解说、 图的认知负荷与学习效果进行了测量和研究。 2 第一章绪言 第二节课题研究的意义和方法 一、课题研究意义 由于我国目前关于多媒体界面设计的研究相对较少，有关多媒体认知学习理论与应用 方面的研究也较为贫乏。本研究拟通过对认知负荷理论在多媒体界面设计中的应用规律进 行初步探索，旨在使多媒体界面的设计更加科学，更符合学习者的认知规律，有关界面设 计的分析和理论总结对于多媒体界面设计理论的科学与完善将有一定的完善和促进作用。 另外，本研究对如何以认知负荷理论为依据来设计多媒体界面，以减小学习者所经历 的外在认知负荷、有效控制相关认知负荷以促进学习者的学习，不但可以指导广大多媒体 课程设计者进行界面设计，同时对于多媒体课程的评价也具有一定的指导意义。 二、主要研究+ - j 法 一、士灾。7 i 九 五 本文写作主要从搜集相关文献入手，通过对文献的调研和对案例的分析来研究基于认 知负荷理论的多媒体界面设计。运用的主要研究方法包括： ( 1 ) 文献调研：查阅有关认知负荷理论、双重编码理论、多媒体认知与学习理论等 多方面的文献资料，分析、研究、借鉴已有的理论成果与实践经验。 ( 2 ) 理论分析：多媒体学习成为认知心理、教育心理、教育技术等领域的热点研究 问题之一。2 0 0 3 年( l e a m i n ga n di n s t r u c t i o n ) ) 上有一期专刊研究多媒体学习的问题。本研 究通过对多媒体学习相关的理论进行深入分析，总结符合认知负荷理论的多媒体界面设计 的规律，以完善和发展我国的多媒体界面设计理论。 ( 3 ) 案例研究：本文提供了不少多媒体界面设计的案例，通过对这些案例的分析研 究，探讨符合学习者认知规律的多媒体界面设计方法。 ( 4 ) 实验研究法：通过设计实地实验，从不同的多媒体环境的角度出发，探讨不同 的多媒体呈现方式对学习者认知负荷及学习效果的影响。 第二章与多媒体学习相关的认知理论 第二章与多媒体学习相关的认知理论 第一节多媒体与多媒体呈现方式 一、多媒体内涵定义 媒体( m e d i u m ) 一词来自于拉丁文“m e d i u s 一词，为中介的、中间的意思。新韦氏 韦伯国际英语大词典中“m e d i u m 一词为可立于中间或中介的某种东西。因此人与人之 间所赖以沟通与联系观念、思想或意见的中介物便可称为媒体。而在计算机行业里，媒 体有两种含义：其一是指传播信息的载体，如语言、文字、图象、视频、音频等等；其 二是指存贮信息的载体，如r o m ，r a m ，磁带、磁盘、光盘等。 多媒体是融合两种或两种以上媒体的一种人一机交互信息交流和传播媒体，使用的 媒体包括文字、图形、图象、声音、动画和视频( v i d e o ) 。 在这个定义中需要明确几点：多媒体是信息交流和传播媒体，从这个意义上说， 多媒体和电视、报纸、杂志等媒体的功能是一样的。多媒体是人机交互式媒体，这 里所指的“机”，目前主要是指计算机，或者由微处理器控制的其他终端设备。因为计 算机的一个重要特性是“交互性”，使用它就比较容易实现人一机交互功能。从这个意 义上说，多媒体和目前大家所熟悉的模拟电视、报纸、杂志等媒体是大不相同的。多 媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的。传播信息的媒体 的种类很多，如文字、声音、电视、图形、图象、动画等。虽然融合任何两种以上的媒 体就可以称为多媒体，但通常认为多媒体中的连续媒体( 声音和电视) 是人与机器交互的 最自然的媒体。 目前，多媒体主要的载体有c d r o m ，v c d 、网页等。多媒体是近几年来出现的 新生事物，正在飞速发展和完善之中。而我们所提到的多媒体计算机、多媒体技术中的 媒体主要是指前者，就是利用电脑把文字、图形、图像、动画、声音及视频等媒体信息 数字化，并将其整合在一定的交互式界面上，使电脑具有交互展示不同媒体形态的能力。 它极大的改变了人们获取信息的传统方法，符合人们在信息时代的阅读方式。 近年来，多媒体技术得到迅速发展，多媒体系统的应用更以极强的渗透力进入人类 生活的各个领域，教育领域便是多媒体技术的一个及其重要的应用领域。 二、多媒体呈现方式 由于多媒体结合多种不同形式的媒体，因此包含许多种的呈现方式。综合起来，多 媒体界面中所包括的媒体对象有以下几种： ( 1 ) 文字和旁i 刍( t e x t & n a r r a t i o n ) 4 第二章与多媒体学习相关的认知理论 ( 2 ) 图案和插画( g r a p h i c s & i l l u s t r a t i o n ) ( 3 ) 静态的照片( s t i l lp h o t o g r a p h s ) ( 4 ) 图表和图形( c h a r t s & g r a p h s ) ( 5 ) 动画和视频( a n i m a t i o n & v i d e o ) ( 6 ) 声音和音乐( m u s i c & s o u n de f f e c t s ) ( 7 ) 虚拟现实( v i r t u a lr e a l i t y ) ( 8 ) 互动程序( i n t e r a c t i v ep r o g r a m s ) 越丰富的信息内容，提供学习者越多的信息，以促进其理解。一般甚至认为，信息 越丰富越好。多媒体系统若包含越多的媒体呈现方式，则提供越丰富的信息内容，但是 否包含越多的媒体呈现方式就能增加学习者的学习成效呢? 学者对这个问题仍看法不 一致，许多的研究发现，多种媒体的呈现方式对学习者而言，其学习成效较好。但也有 些研究发现，单一媒体的呈现方式( 如纯文字的呈现方式) 对学习者而言，有较好的学习 效果。针对单一媒体和多种媒体在学习成效上的差异，整理如表。 表2 一l 单一媒体和多种媒体组合在学习成效上的比较 媒体组合种类 研究者研究发现 单一媒体多种媒体 多种媒体组合学习 r e e d ( 19 8 5 ) 动画文字+ 动画 成效较好 文字+ 动画多种媒体组合学习 b a k e ( 19 8 8 ) 文字 文字+ 图片成效较好 文字单一媒体组合学习 r i e b e r ( 19 8 8 ) 文字+ 动画 动画成效较好 多种媒体组合学习 m a y e r ( 19 8 9 ) 文字文字+ 图片 成效较好 文字+ 动画 r i e b e r ( 19 9 0 )文字 多种媒体组合学习 成效较好 文字+ 图片 单一媒体组合学习 l a r g ee ta 1 ( 1 9 9 4 ) 文字文字+ 图片+ 动画 成效较好， 文字+ 图片+ 动画 p o o h k a y ( 19 9 5 ) 文字 多种媒体组合学习 成效较好 文字+ 图片 文字+ 图片多种媒体组合学 h a y s ( 1 9 9 6 ) 文字 文字+ 动画习成效较好 s z a b o & 文字 文字+ 图片多种媒体组合学习 p o o h k a y ( 19 9 6 ) 文字+ 动画成效较好 文字+ 图片多种媒体组合学习 c h a n l i n ( 1 9 9 7 ) 文字 文字+ 图片成效较好 第二章与多媒体学习相关的认知理论 文字+ 图片+ 声音 文字+ 动画+ 声音 多种媒体组合学习 h a l l ( 1 9 9 7 ) 文字文字+ 图片 成效较好 文字+ 图片多种媒体组合学习 c h a n l i n ( 19 9 8 )文字 文字+ 动画成效较好 文字+ 图片 多种媒体组合学习 l a i ( 1 9 9 8 ) 文字 文字+ 动画 成效较好 文字 多种媒体组合学习 林丽娟( 19 9 8 ) 文字+ 动画 动画 成效较好 文字+ 图片多种媒体组合学习 赵美兰( 19 9 8 ) 文字 文字+ 动画成效较好 文字+ 图片+ 声音多种媒体组合学习 l m ( 2 0 0 0 ) 文字+ 声音 文字+ 动画+ 声音成效较好 此外，在多种媒体的呈现方式上，也有静态( 如图片) 与动态( 如动画、影片) 的区别。 动画等因为更有吸引力、及更容易描述动态的过程，因此，在描述流程、程序上有较好 的学习效果。但是，也有些学者对动画与图片的研究发现，静态的多媒体呈现方式( 如 图片) 更有助于学习者的学习( l a i ，1 9 9 8e ta 1 ) 。因此，本研究汇集图片与动画等多媒体呈 现方式的相关研究如下表2 - 2 ： 表2 2 静态与动态媒体在学习成效上的比较 研究者媒体组合模式 研究发现 文字 b a k e ( 1 9 8 8 ) 文字+ 图片 文字+ 动画的组合成效最好 文字+ 动画 文字 l a r g ee ta 1 ( 1 9 9 4 ) 文字+ 图片 三者在回忆上无差异 文字+ 动画 动画有助于理解 文字 p o o h k a y ( 19 9 5 ) 文字+ 图片 文字+ 动画的组合成效最好 文字+ 动画 文字 h a y s ( 19 9 6 ) 文字+ 图片 文字+ 动画的组合成效最好 文字+ 动画 s z a b o & p o o h k a y 文字 文字+ 图片文字+ 动画的组合成效最好 ( 1 9 9 6 ) 文字+ 动画 文字 文字+ 图片 c h a n l i n ( 19 9 7 ) 文字+ 动画文字+ 动画+ 声音的组合最好 文字+ 图片+ 声音 文字+ 动画+ 声音 6 第二章与多媒体学习相关的认知理论 文字 l a i ( 19 9 8 ) 文字+ 图片文字+ 图片的组合成效最好 文字+ 动画 文字+ 声音 l a i ( 2 0 0 0 ) 文字+ 图片+ 声音 文字+ 动画的组合成效最好 文字+ 动画+ 声音 第二节双重编码理论与图式理论 一、双重编码理论 双重编码理论( p a i v i o ，1 9 8 6 ；c l a r k & p a v i v i o ，1 9 9 1 ) 由佩维奥提出。p a i v i o ( 1 9 8 6 ) 认为人 类不只有单一记忆的储存方式，他提出的双重编码理论指出人类拥有两套互动但又独立 处理不同类别信息的系统：言语系统( 1 0 9 0 9 e n s ) 和图像系统( i m a g e n s ) 。图像系统以图像 代码来储存信息，言语系统以言语代码来储存信息。这两套系统同时处理不同的信息； 如图2 一l 中，言语( v e r b a l ) 与非言语( n o n v e r b a l ) 如图形等各有其组织、建构，言语与非言 语间也有其关联性的存在，即“参照链接”( r e f e r e n t i a lc o n n e c t i o n ) 。言语系统在接收言 语信息的刺激后，将这些言语方面的信息形象化，并将其编码后储存在文字记忆区中； 而图像系统则专门处理可视化信息，将图形抽象化后将其编码储存在图像记忆区中，也 在所对应的言语记忆区中留下一个文字性对照版本。 图2 - 1 双重编码模式( p a i v i o ，1 9 9 1 ) 当人类在学习时，人的工作记忆区中( 、o r k i n gm e m o r y ) 对以言语或非言语呈现方式 7 第二章与多媒体学习相关的认知理论 的材料，有三种处理的过程。如图2 1 的左上角，当有言语的刺激时( 如文字的叙述) ， 在工作记忆区中，学习者会建构一个以言语为描述的表征。这个由外而内的认知处理过 程，称之为建构一个言语表征的联结( b u i l d i n gav e r b a lr e p r e s e n t a t i o n a lc o n n e c t i o n s ) 或文字 编码。如图2 1 的右上角，当有非言语的刺激时( 如一个动画或图形) ，在工作记忆区中， 学习者会建构一个以图形为描述的表征。这个由外而内的认知处理过程，称之为建构一 个图像表征的联结( b u i l d i n gav i s u a lr e p r e s e n t a t i o n a lc o n n e c t i o n s ) 或图像编码( v i s u a l e n c o d i n g ) 。参照联结( r e f e r e n t i a lc o n n e c t i o n ) 贝j j 是将两种呈现的信息联结在一起。如以呼 吸系统为例，“横隔膜向下移动时，会让肺脏有更多的空间。描述一个动画画面，它显 示了横隔膜向下移动，结果使得肺脏的空间扩大。“参照联结即将此表征联结在一起 ( p a i v i o ，19 8 6 ；m a y e r & s i m s ，19 9 4 ) 。 学习者的学习成效如何则以“文字编码 、“图像编码”、以及“参照联结”等三种 联结建立的质量而定。m a y e r & s i m s ( 1 9 9 4 ) 也发现：文字信息与视觉信息同时呈现比先 后呈现更能有效的帮助建立“参照联结提升学习效果。因此，就双重编码理论观点而 言，学习者需要同时使用“言语系统 与“图像系统来有效的处理信息，如果能促进 这三种联结的建立，就能有效的提升学习成效。 p a i v i o 所做的试验还发现，如果给被试以很快的速度呈现一系列的图画或字词，那 么被试回忆出来的图画的数目远多于字词的数目，这个试验说明，图像的信息加工具有 一定的优势。也就是说，大脑对于形象材料的记忆效果和记忆速度要好于言语记忆的效 果和速度。而且当一个观念的呈现方式是通过这两种系统同时呈现，会比只利用其中一 种呈现方式要好。p a i v i o 对图像处理系统比较好的解释是因为当我们看到一个图片时， 我们会自动的将图片转换成言语的方式来处理；但当我们看到一个文字时，却不会把它 转换成图像的方式。 关于双重编码理论，被应用到许多认知的现象上，如记忆术、问题的解决、观念的 学习及言语等方面，c l a r k & p a i v i o ( 1 9 9 1 ) 提出双重编码理论，应为教育心理学的一个基 本理论。而除此之外，在多媒体设计的研究领域，也有许多是利用双重编码理论来作为 设计的依据。如n a j j a r ( 1 9 9 6 ) 提到，多媒体的设计有利于学习者的学习，但是必须基于 以下几点： ( 1 ) 媒体最好有存在双重编码的信息。根据双重编码理论，图文并存的多媒体呈 现方式与单一媒体( 如文字) 的呈现方式，在学习效果上，图文的呈现方式有助于学习者 的学习效果。 ( 2 ) 媒体与媒体间须有相关性存在。由于多媒体组合的呈现方式，会因为其中的 一个媒体对另一媒体有补充的效果，如一段令人模糊不清的文字叙述，可经由图形的呈 现，而使学习者较为理解。然而双码理论并不是说两个编码加在一起比一个好，而是插 图和文字之间有强而有力的联结，才能辅助读者建立文字性和可视化信息的认知相关 性，产生观念的学习( 范懿文，陈汇芳，2 0 0 0 ) 。 8 第二章与多媒体学习相关的认知理论 双重编码理论相关研究 许多学者做了大量实证的研究来验证双重编码码理论( m a y e r & g a l l i n i ，1 9 9 0 ： m a y e r & a n d e r s o n ，1 9 9 1 ，1 9 9 2 ；m a y e r , & s i m s ，1 9 9 4 ；m o l e n ，2 0 0 0 ) 。他们都发现，比 起纯文字的呈现方式，图形搭配文字的呈现方式对学习者有较好的学习效果。而且将多 媒体中的不同媒体以整合同时呈现的方式，比将多媒体中的不同媒体以分开循序呈现的 方式，有较好的学习效果。 m a y e r & g a l l i n i ( 1 9 9 0 ) 的研究中以实验的方式来验证双码理论，其实验以纸本的科学 教科书为教材，其研究发现将图片与文字同时整合在同一页的学习效果较好，将图片与 文字分开循序放置于不同页的学习效果则较差：m a y e r & a n d e r s o n ( 1 9 9 1 ，1 9 9 2 ) 的研究则是 利用编制的计算机多媒体教材作实验，所得出的结果也是如此。 而m a y e r & s i m s ( 1 9 9 4 ) 的研究中，分别以打气筒原理、与人体呼吸系统原理等不同 的教材，作为实验内容，采用数字化的多媒体教材的形式，实验组别分为“图文整合同 时呈现 与“图文分开循序呈现”，其研究发现将图片与文字同时整合的学习效果较好。 此外，此研究也对学习者本身的高低经验来探讨。m a y e r 学者根据双重编码理论的解释 为：高经验的学习者，可从长时记忆区( l o n gt e r mm e m o r y ) 中将相关的信息联结在一起， 如下图2 2 中第4 部分的联结；因此，所需图文刺激的效果与低经验的学习者有差异。 其研究也发现，不管是高经验或低经验的学习者，图文整合的呈现方式更有助于学习者 的学习。 图2 - 2 双重编码理论概念图( m a y e r & s i m s ，19 9 4 ) 9 第二章与多媒体学习相关的认知理论 图式理论与多媒体学习 图式理论是基于g o o d m a n 心理语言阅读模式的一种较为成熟的学习理论。心理学 家b a r t l e t t 最早研究了图式理论，论述了图式在阅读过程中发挥的作用。他认为图式可 以用来解释学习的过程，读者借助记忆中激活的知识结构来填补文本中缺少的细节内容 从而达到意义建构的目的。 美国人工智能专家d r u m e l h a r t ( 1 9 7 7 ) 把图式解释为：以等级形式储存于长期记忆中 的一组“相互作用的知识结构”、“构成认知能力的建筑砌块”。m a r c u s ( 1 9 9 6 ) 认为图式 是指能够将多个信息单元依据需要组织整合为一个信息单元的认知结构。图式是知识的 基本单元，储存在长时记忆区中，其功能除了提供知识的组织和存储机制外，也能降低 工作记忆区的负荷( s w e l l e r ，1 9 9 8 ) 。学生在学习语言文字时，之所以对熟悉的字词能辨 认其字形、读音、词义，就是因为在他的记忆中，己存有这些字词的图式。 再如，在复杂的问题解决上新手与专家之间存在能力差异，并不是因为老手在从事 复杂推理程序方面比新手表现好，而是因为他们有丰富的储备知识( b a d d e l e y , 1 9 9 2 ； s w e l l e r , v a nm e r r i e n b o e r & p a a s ，19 9 8 ) ，因此，专家能手可从长期记忆区中取得解决策略， 因而有较好的表现。 图式具有以下特性： ( 1 ) 形成新的图式：可把复杂的元素联结起来形成一个图式。也提供一个知识组 织和储存的机制。 ( 2 ) 接收新知识：图式可以引导新知识的接收。 ( 3 ) 检索旧知识：从记忆中有效率的提取旧知识。 ( 4 ) 储存信息：图式协助信息储存于长时性记忆区。 ( 5 ) 自动化：是图式建立的一个重要过程，所有的信息都可以自动地处理( s c h n e i d e r a n ds h i f f r i n ，1 9 7 7 ) 。图式的自动化大部分会越过工作记忆区，所需花费的工作记忆区的 资源较少。 当学习者面对一个新学习任务，如果无相关知识的自动化图式( a u t o m a t e ds c h e m a ) ， 将面临工作记忆区容量有限的问题。而当学习一个熟悉的任务时，因有相关知识自动化 图式，学习者将有更多可用的工作记忆区容量，借助图式去解决更复杂的问题，可以使 学习效率最大化。所以教材的设计应该借助并促进学习者图式的建立和自动化，以利于 学习者的学习( s w e l l e re ta 1 ，1 9 9 8 ；t i n d a l l f o r de ta 1 ，1 9 9 7 ) 。 知识的学习靠短时记忆，长时记忆则负责知识的存储。虽然在工作记忆区能处理的 信息量有限( 7 2 ) ，但信息单元的大小、复杂度却没有限制。借助意义组块( c h u n k i n g ) b a r t l e t t , f c r e m e m b e r i n g ：as t u d yi ne x p e r i m e n t a la n ds o c i a lp s y c h o l o g y 【m 】c a m b r i d g e ：c a m b r i d g eu n i v e r s i t y p r e s s ，19 3 2 r u m e l h a r td e i n t r o d u c t i o nt oh u m a ni n t or m a t i o np r o c e s s i n g m n e wy o r k ：w i l e y , 19 7 7 1 0 第_ 二章与多媒体学习相关的认知理论 作用，可以增强工作记忆区处理信息量的能力。所谓意义组块，就是将信息中多个不同 的小单元集合而组成一个有意义的较大单元，然后以大单元为单位去记忆，即由新旧知 识的联结使图式的结构更复杂，但仍被视为工作记忆处理的一个单位，因此，图式可以 降低工作记忆区的负荷。 图式理论认为，具体的情景信息对图式的形成是不可缺少的，能够促进学生的学习。 多媒体学习环境为图式的形成及自动化提供了良好的条件。多媒体能将各种抽象的内容 直观地展现出来，给学生提供具体可感的形象，是最好的图式背景“前导 手段。声、 图、文并茂的多媒体教学系统能够弥补传统教学方式在直观感、立体感和动态等方面的 不足，取得传统教学方法无法取得的教学效果。学习是新信息刺激已有知识或图式的过 程，因此我们在编制多媒体学习材料时，除了文本呈现的信息之外，适当的组织图片、 结构图、声音、动画等有关文本内容的背景知识，为学习者提供图式框架，以激活学习 者存储在记忆中的相关图式，帮助学习者建构一个新的图式；提供链接信息以激活学习 者已存在的有关图式。使学习过程从消极、被动的处理文字符号的过程转变成积极、主 动的与文本互动的过程。长时记忆中的图式的形成和自动化弥补了工作记忆的不足，学 习者利用长时记忆中的图式对新信息进行加工、整合，学习者主动的将已有的各类先前 知识作用于文字信息，这些图式帮助学习者理解文本内容以达到促进学习的作用。 第三节认知负荷理论 “认知负荷( c o g n i t i v el o a d ) 的理论，源自欧美的人类工程学( e r g o n o m i c s ) 领域，从 心理、生理与认知层面，来探讨工作与任务对执行者的影响及适应性。最早应用在军事 训练及各种企业上，称为“心智工作负荷( m e n t a lw o r kl o a d ) ，并以此作为任务、工作 或操作系统设计上的参考。s w e l l e r ( 1 9 8 8 ，1 9 8 9 ，1 9 9 0 ) 将此概念引进教育领域命名为“认知 负荷”，着重在研究学习内容及教学法对学习者概念获得与认知层面的影响。他所提出 的认知负荷理论对人类认知结构有四项基本假设( s w e l l e re ta 1 1 9 9 8 ) ：( 一) 工作记忆 ( w o r k i n gm e m o r y ) 的容量是有限的。对于新信息的接收，必须依赖工作记忆对信息作更 深入的认识与意义建构，使之转换为长时记忆。( 二) 长时记。| ：l ( l o n g t e r mm e m o r y ) 指保 持信息长期不忘的永久记忆( p e r m a n e n tm e m o r y ) ，而长时记忆的容量是无限的。( 三) 长 时记忆中的内容主要以图式( s c h e m a ) 的型态储存。图式除了在长时记忆中具有储存及组 织信息的功能外，也可降低工作记忆区的负荷。( 四) 图式应用的自动化( s c h e m a a u t o m a t i o n ) 是图式建构的重要过程。经过充分的练习可以将图式自动运用，进而降低工 作记忆区的负荷。 认知负荷理论强调，教学设计的首要目标在于图式的建构及自动化，如何降低信息 在工作记忆区中的难易度，以达到图式的建构目的，是认知负荷理论所关心的焦点。近 来，认知负荷已被认为是教材设计过程中的重要考虑因素，特别是在科学、几何学、语 第二章与多媒体学习相关的认知理论 言学习及统计学的教学上( y e u n g ，1 9 9 9 ) 。 一、认知负荷的定义及特点 p a s s ( 1 9 9 2 ) 认为认知负荷是一种多维度的概念，指学习者执行一个任务时在认知系 统上产生的负荷。而构成学习者认知负荷的原因是学习者的心智努力程度与学习内容的 难易程度。s w e l l e r ( 1 9 9 8 ) 将认知负荷定义为执行特定的任务时加诸于个人认知系统的负 荷。台湾学者宋曜廷( 2 0 0 0 ) 认知负荷是指在执行某种