|
2.意义构建模型 认知器官对图片的处理可以分为两个阶段：第一个阶段是从图片中获取信息（比如从形状、颜色、大小、深度）；第二个阶段是对这些信息进行加工理解（参考Eysenck & Keane，2005；Anderson，1995）。Parkin（2014：28）强调视觉感知是重建性的。我们对一个图片的理解在大脑中的呈现方式不是像照相机的感光胶卷一样一成不变地呈现，相反，眼睛视网膜摄入的信息提供了一系列线索，这些线索经过推理处理，从而对图像内容产生了一种独特的心理表征。 “读”图的过程远不如读语言那么直接，因为这个过程在一定程度上以一种既定的顺序进行。过去就有关于读者浏览图片上不同元素的顺序的假设，传统的假设通常认为由于颜色、色调对比或相对尺寸等因素，越显眼的部分越先被注意到。而且通常图片的浏览路径受到以下几个因素的影响：阅读时眼神朝某一特定方向的移动（在西方文化里是从左向右移动）、目光向图片中心焦点集中的趋势（Foulsham & Underwood，2008）和将注意力集中于人物面部以及视线方向的趋势（Lautenbacher，2012）。 然而，除了图片的性质，读者的目光还受到读者的观察目的、预期、情感、前知识还有个人喜好的影响（Boeriis & Holsanova，2012：262）。实际上视觉认知研究领域越来越多的研究表明，一个人的视线更多地受信息收集的认知需要影响，而不是受图片本身的视觉显著性影响（Mills，et al.，2011；Henderson，et al.，2007）。也就是说，看图是个任务型活动。这些观点对本研究很重要，因为这些观点说明不同译者可能对同一图片赋予不同的意义，同一个译者也可能由于不同的读图目的而对同一图片赋予不同的目的。这与前文所述对语言文本的阅读的假设是一样的。 单独描述单个模态所产生的意义具有挑战性，但描述不同模态相互作用产生的意义则更难。尽管如此，还是有人经常从不同理论角度来研究这个问题。最常见且已经确立下来的有，基于Halliday（1978）的系统功能语言学进行的研究，包括社会语义学方法（Kress & van Leeuwen，2006），这一方法主要集中于模态的纯理功能；还有话语分析方法（O'Halloran，2008），这一方法探索了微观语篇层面多模态话语的纯理功能。尽管本文从认知视角来研究多模态而不是集中于模态纯理功能的研究，但是不同方法的基本理据都是文字与图片相互作用的概念化过程。 Hull和Lemke（2005，225）的研究主要建立在Kress和van Leeuwen（2001，2006）的研究基础上，认为不同模态的相互作用产生了全新的意义系统，这些意义超过了单个模态所产生的意义总和。该观点跟Lemke（2002：303）的观点相似，Lemke也认为不同模态的相互作用产生了全新的意义，因此属于多模态性质。O'Halloran（2008：452）将这种成倍增加的相互作用称为符号间性，并认为这种符号间性导致意义的扩展。Lemke（2002：303）进一步指出当两种模态一起呈现时，这两种模态的意义会彼此加强或补充，并且比任何一个单一模态表示的意义更准确。然而，在多模态文本中各个模态传达的意义并不总是十分契合，也有可能相互矛盾或彼此抵触。多模态文本的不同模态之间也有可能造成意义的不同方面之间的张力（Jewitt，2009b：26）。这些方法的主要观点是当读者阅读多模态文本时，读者不是单一地从文字模态或图片模态来推断意义：意义只存在于文字和图片的结合体中，而且为了某一特定的阅读目的，读者可以对此进行加工。不同模态间可能互为补充、相互加强，也可能相互抵触，所有这些取决于两种模态传达的意义是否相一致。 3.插图技术文本的阅读理解 早在1993年，Hegarty和Just作了一个研究，在该研究中，他们监控了测试对象在阅读插图文本时的眼神注视的情况。他们发现读者频繁地打断文字阅读，停下查看图片（140字的一页平均停顿6次）。读者的眼神在图片上并不是随意停留的，相反，他们只查看和他们刚才读过的文字相匹配的图片（Hegarty & Just，1993：730-731）。尽管这一发现对我们目前的研究有很重要的作用，但是它并没有对读者阅读插图文本时大脑的思维过程作出理论上的解释。 教育心理学为多媒体学习提供了一个探索插图文本阅读理解过程的认知模型。本文将介绍并比较两种最有影响力的模型，即多媒体学习的认知理论（CTML）（如Mayer，2002，2005）和文字-图片整合理解理论（ITPC）（Schnotz,Bannet & Seufert,2002; Schnotz & Bannert,2003; Schnotz & Lowe,2003; Schnotz,2005; Schnotz & Kurschner,2008）。而且本文还会考虑对插图原语文本建立心理表征的过程在这两种模型中是如何展开的，并且探讨这两种模型对实证研究的意义。在此，我们将首先讨论这些问题的定义。多媒体学习模型对本文的适用程度取决于如何定义“多媒体”和“学习”。毕竟多媒体学习理论是否适用于多模态翻译可能会遭到质疑。 (责任编辑：admin) |