文本视听多模态材料在听力理解中的作用
http://www.newdu.com 2024/11/24 05:11:17 未知 张丽明 参加讨论
摘 要：数字化时代，文本、音频和视频多模态材料对听力理解发挥着积极作用。以综述听力理解研究脉络为基础，倡导在听力教学中使用体裁教学方法，使用真实的多模态材料和计算机辅助语言学习手段促进积极的社会建构，强调视频字幕对听力理解的重要价值。多模态资源为学习者提供了通过文字声音视频多模态多渠道共时习得听力、与目的语语言文化互动的机会;将其应用于听力教学和听力学习，可以改善教师的听力教学效果和提高外语学习者的听力理解水平，进而提高学习者的综合语言素养。 关键词：多模态材料；听力理解；体裁教学法；真实材料；字幕 作者简介：张丽明，人民教育电子音像出版社副编审，硕士，研究方向：英语多模态教材应用、英语多模态资源开发。 基金：人民教育出版社课程教材研究所“十三五”课题“信息技术与高中英语课堂教学深度融合的音频教学资源的研究与开发”(项目编号：KC2017-046)的阶段性研究成果。 1. 引言 作为自上而下(top-down)和自下而上(bottom-up)听力理解过程的替代，认知心理路径(cognitivepsychologicalapproach)把听力理解分三个阶段：感知加工、思维表征、理解意义(Hahn2018)。“听”是母语和二语习得中的一个基本技能，听力理解能力在发展语言技能方面扮演着重要角色，受到教师和学习者的高度关注和重视。 人际交流45%以上的时间都与“听”相关(Feyten1991)，数字化时代信息的获取趋于依赖视听渠道(Wolf et al.2019)。然而，学习者在听真实的外语材料时，几乎都有挫败经历(Darti&Asmawati2017)，倘若说者语速稍快或带有口音，学习者便难以辨别词汇意义、难以理解篇章要旨，听懂外语是一件艰辛的事情(Prodiet al.2010)。改善听力技能的有效途径之一，就是利用计算机网络等资源，在语言课堂内外给学习者提供大量的音频、视频等多模态材料，让学习者尽可能多地接触不同的真实材料。这些真实的多模态资源，满足“可理解性输入(comprehensibleinput)”(Krashen1982:22)的要求。与让学习者备受折磨的技能训练观(skill-buildingidea)相比，可理解性输入假说为学习者提供愉悦的学习体验，符合语言学习规律，有利于改善学习者听力理解和综合语言水平。 2. 听力理解研究综述 20世纪60年代，行为主义盛行(behaviorism)，语言学习被当作机械的刺激反映过程，听力被当作被动的技能，对语言学习和教学作用甚微。后来，乔姆斯基声称，人类具备理解之前没听到过的新句子(novelsentence)的能力；大脑作为活跃的信息加工机制，在理解信息方面发挥重要作用。因此，听力不再被当作被动的技能，人们认识到听力的重要性，开始研究语言课程中的听力行为。“全身反应”(totalphysicalresponse)理念的提出，就强调了可理解性输入，通过身体对语言的反应动作来提高理解力。 20世纪70年代，听力对语言学习的支持作用受到关注，研究者逐步开始关注听力的语境问题和为意义而听(listeningformeaning)，互动概念认为社会和语境因素在听力理解中发挥重要作用。 20世纪80年代，图式理论(schematheory)、交际教学(communicativelanguageteaching)、任务教学(taskbasedlanguageteaching)等理论和教学法被融入到听力语言教学中，用以研究听力理解这项复杂的技能。学者开始关注文化因素在听力理解中的关键作用。 20世纪90年代以来，外语学习和二语习得中的听力理解越来越受到重视，听力理解已经成为二语习得理论的基石(Flowerdew&Miller2005:10)。目前，较成熟的听力理解项目要求学习者从各个层面发展听力，促进学习者外语能力的培养。进入新世纪，数字化程度越来越高、手持设备不断普及，研究者开始关注新媒体、新技术手段的融合应用对于听力理解的影响。 3. 视听多模态材料在听力理解中的作用 二语习得等语言理论的发展让教师逐步青睐将目的语多模态视频引入教学和学习，也随之产生了一些操作层面的困惑。如，应该使用字幕视频还是无字幕视频?应该使用母语字幕视频还是目的语字幕视频?哪种途径能最有效地帮助学习者提高听力理解?双模态字幕(目的语字幕+目的语对话)、标准字幕(母语字幕+目的语对话)、还是无字幕的目的语对话? 视频话题为学习者不熟悉的话题时，多模态视频中的字幕文本信息对提高学习者听力理解能力颇有裨益，对各个水平语言学习者听力理解会产生积极的影响(Inceçay&Koçogˇlu2017;Peters2019)，进而促进学习成效。增添到视频信息中的文本内容，虽然看似声音渠道的冗余信息，实则作用重大，可促进学生二语和外语听力理解能力(Changet al.2011)。文本视听多模态材料在促进记忆和情境模型建构方面，优于单模态的音频材料(Wannagatet al.2018)。双模态条件下，学习者进行比较复杂的声音字幕同步加工的认知活动，对学习效果产生积极影响。学习者的工作记忆能力(workingmemorycapacity)和模态偏好(modalitypreference)同时发挥作用，影响多模态材料的学习效果(Kamet al.2020)。学习者注意力可以根据需求来分配;加工的信息越复杂，就会有越多的注意力时间被分配给字幕。字幕依赖型学习者花更多时间注意字幕等视觉输入，在语法发展方面成效显著(Lee&Révész2018)。 多模态视频中的字幕文本信息，有助于提高学习者的词汇识别能力和习得概念知识的能力(Gass2019;Peters2019;Suárez&Gesa2019)。视频播放中出现的字幕，可以显著改善学生识别关键词的能力，促进附带词汇习得(vanZeelandet al.2013;Meier2015)。不同的字幕条件，对字词回忆产生不同的影响;母语配音外语字幕(reversedsubtitling)这种双模态输入，可以有效促进字词回忆。母语配音外语字幕双模态条件下，翻译促进外语解码，有助于听力过程中切分(segmentation)问题的解决。学习者在听力中经常面临无法识别口语中单词界限这样的问题，尤其在他们不熟悉这些单词时，同步听音频和阅读文本能够帮助学习者有效地区分和切分单词(Danan2004)。 与单模态相比，在文字音频视频多模态条件下，学习者更容易习得新词。具体而言，各种模态材料下，新词的语音习得相似；文字模态下，新词的拼写习得最佳；新词的语义习得在多模态条件下最佳(Valentiniet al.2018)。观看字幕条件下，视频字幕更好地保留了学习者刚刚加工过的声韵信息，促进隐形学习。隐性学习指听辨词汇，而显性学习是指有目的的回忆和有意识的记忆听力刺激。视频材料视觉的、语境的、非言语的输出，为学习者提供了同步的视觉和声音的刺激，弥补音频单模态引发的理解缺陷；字幕成为最有效的视频观看的辅助手段，字幕将学习者听到的声音信息可视化，这种额外的认知加工可以促进学习者对目标语言的理解，促进词汇习得和听力理解(Hsuet al.2013)。 总之，多模态资源中的字幕呈现，有助于提高学习者的听力理解能力、词汇习得能力和概念知识习得能力，对逐字回忆和记忆、词汇在适当语境的重新使用、以及具体口笔语交际场合的交际能力等方面的产出性能力有积极的影响(Hayati&Mohmedi2011;Gowharyet al.2015)。 4. 听力教学建议 4.1 倡导体裁教学法和基于题材的听力输入 不同类型的听力输入、不同类型的听力体裁，对听力理解的影响不同，我们建议在听力教学中采用体裁教学法。 体裁最初为文学术语，近半个世纪广泛用于电影、流行音乐、食物等。在《现代修辞学》中，根据意图，体裁形式分别为说明、议论、描述、记叙等。体裁研究先驱美国加利福尼亚大学圣塔芭芭拉分校Bazerman(1994)认为，体裁是我们生活、存在的形式，体裁是社会行为的框架，体裁塑造我们的思维和交流。澳大利亚悉尼大学Martin(1984)认为，体裁是我们用语言做事的方式。体裁是以修辞行为大规模范畴化为基础的惯例性话语范畴(Miller1984)。作为行为，体裁通过语言来实现，由交际目的来定义，从情境和社会语境中获得意义。语言习得和社会化过程密切联系，教师最基本的任务就是培养学习者的文化适应(acculturation)。不同兴趣、不同背景、不同智力和不同期望的学生，可能从某一种具体的听力输入、听力类型和听力体裁中获益。 基于体裁的语言教学和基于体裁的听力输入，对听力理解有正面影响。在听力课上，教师可以培养学生的体裁意识，通过详尽地介绍体裁，讲解记叙、议论、描写和说明等各种体裁类型，阐述各种体裁知识，利用图式理论(schematheory)激活学生“先前的知识”，鼓励学生把已知知识应用到听力理解中，让基于体裁的听力输入对学生的听力理解到起积极的作用，让学生思考听的目的，帮助学生产出体裁相关的输出。将体裁教学融入听力教学中，就像写作教学和阅读教学中的体裁教学一样同等重要。 4.2 使用真实的文本—音频—视觉多模态材料和计算机辅助语言学习手段促进积极的社会建构 计算机辅助语言学习(CALL)，给数字化时代的“原住民”学习者提供了便捷多样的学习机会。融合了听觉、视觉和文本等的多模态材料，方便学习者在听力过程中，除了感知声音外，还能借助其它模态理解说者意欲传递的信息。学习者通过接触真实的多模态材料，促进隐性的学习过程。通过隐性学习，新的语言和语言规则被学习者不断地内化，学习者能逐渐自动地输出目的语语言。 建构论和社会建构论(Dewey1986;Piaget1973:76;Vygotsky1978:86)，是计算机辅助语言学习(CALL)手段背后的学习理论基础。学习者将知识构建到自身体验的语境中，知识习得是自我建构的逐步演化过程;在这个过程中，学习者必须用大脑获得信息，基于先前的知识形成新的信息，建构自己的知识。在学习过程中，个人寻求问题解决方法，有助于智力的发展。学习过程既是共享的活动，也是文化的共享。学习过程是行为导向的(action-oriented)，通过协作、自我教育、积极地参与具体的项目等来进行。这是因为知识是关系网络(web ofrelationship)，通过学习过程，学习者积极地建构具体的意义。 社会建构论强调获得信息的个人之间的互动，学习成为意义的社会协商过程。通过使用从过去经历中获得的旧知识、通过社会互动，新的知识被建构。由于学习者与他人的互动，以及学习者在互换信息、构筑知识的特定情境中的行为，学习成为终身的过程。学习者通过不断地重建自身的思想和体验，建构自身对于世界的理解。建构论和社会建构论都认为，在外语教学中贯彻计算机辅助语言学习(CALL)手段，让学习者重新修正自身对所教材料的理解，并积极主动地参与到学习环境中。学生可以通过互动过程改善学习，而计算机辅助语言学习就是互动过程中至关重要的一个因素。 语言的理解并不是单单依赖语言能力，学习者还使用百科全书知识和语言之外的信息来理解语言(Krashen1982:22)。学习者在听音频材料和观看视频材料时，使用背景知识和语言之外的因素来理解信息。多模态材料作为有效的学习工具，给学习者提供视觉的、语言的、非言语的、语境的特征，帮助学习者弥补理解上的缺失。多模态材料给学习者提供语境化的、有意义的输入。观看多模态材料时，如果学习者能融合自下而上和自上而下的两种信息加工过程，在认知层面进行感知加工、思维表征并理解意义，就可以更高效地学习外语，更成功地理解信息，达到语言学习的最终目标。 4.3 强调视频字幕对听力理解的重要作用 视听同步条件下，字幕提供了丰富而真实的可理解性输入(comprehensibleinput)，对语言学习可以产生良好的效果。字幕信息展现语言特征和与视频内容相关的其它方面，可以加强学习者对语言意义的理解。数字化时代，随着目的语多模态资源的盛行，使用字幕视频促进语言学习的理念广受欢迎。字幕可以改善外语学习者的听力和阅读理解、词汇习得、以及词汇辨识能力。学习者通过观看字幕视频，能学会更多的新词、短语以及与目的语文化相关的知识。而且，字幕和视频的结合，能帮助学习者学习通俗语言表达及其在现实场景中的应用。 多模态材料为各种来源的真实语言样本，学习者加工多模态材料信息时，体验到各种话题、情境，接触到不同的话题参与者。为了让学习者做好面对现实世界的准备，让他们能准确地理解现实生活中的语言，教师有必要给学生提供机会，让学生在课堂内外听到自然的语言、真实的语言。通过接受和加工可理解性输入，学习者理解信息，进而习得语言。字幕视频作为有效的教学工具和学习工具这种观点，与Krashen(1982:22)二语习得假说一致。 学习者从字幕中的获益程度，与他们的语言水平相关。与初级和中级学习者相比，高级学习者在观看了带有字幕的视频后，受益程度更高，尤其是当视频材料更加抽象和复杂时。对于初级学习者而言，当关键词而不是整个句子被展现到屏幕上时，他们受益更大。总之，字幕给语言学习者提供大量的、真实的、可理解性的输入，对于语言习得过程具有潜在的价值。学习者接触到字幕时，他们的阅读能力将会帮助他们的听力理解，他们对视频的理解能力会得到提高。而且，提供字幕可以降低学习者焦虑，尤其是低水平学习者的学习焦虑，进而增强学习者的学习效果。 5. 结语 网络和手持设备的普及，给数字化时代的外语教师和学习者提供了更多的使用多模态材料的机会。这些多模态材料能为语言教学和学习提供真实的语言和文化信息，教师在教学中如果能有意识地加以运用，会取得事半功倍的效果。因此，教师在使用传统授课方式的同时，要克服对新技术的恐惧心理，通过自学和参加培训逐步学会使用各种新技术手段，促进计算机辅助语言教学，还要主动研究学习者的需求，根据学生的不同能力水平、不同兴趣、不同学习风格和偏好，为低级、中级和高级学习者匹配难度不同的学习任务，进行分层次的任务教学(TriYulianaet al.2017;Omidet al.2018)，以满足学习者的个性化学习需求。 参考文献 [1]Bazerman C.Systems of genres and the enactment of social intentions[J].Genre and the New Rhetoric，1994:79-101. [2]Chang，C.，Lei，H.&J.Tseng.Media presentation mode，English listening comprehension and cognitive load in ubiquitous learning environments:Modality effect or redundancy effect?[J].Australasian Journal of Educational Technology，2011(4):633-654. [3]Danan，M.Captioning and subtitling:Undervalued language learning strategies[J].Meta:Translators’Journal，2004(49):67-77. [4]Darti，D.&A.Asmawati.Analyzing students’difficulties toward listening comprehension[J].Eternal (English，Teaching，Learning&Research Journal)，2017(2):211-228. [5]Dewey，J.Experience and education[J].The Educational Forum，1986(3):241-252. [6]Feyten，C.The power of listening ability:An overlooked dimension in language acquisition[J].The Modern Language Journal，1991(2):173-180. [7]Flowerdew，J.&L.Miller.Second Language Listening:Theory and Practice[M].Cambridge University Press，2005. [8]Gass，S.，Winke，P.，Isbell，D.R.&J.Ahn.How captions help people learn languages:A working-memory，eye-tracking study[J].Language Learning&Technology，2019(2):84-104. [9]Gowhary，H.，Pourhalashi，Z.，Jamalinesari，A.&A.Azizifar.Investigating the effect of video captioning on Iranian EFL learners’listening comprehension[J].Procedia-Social and Behavioral Sciences，2015(1):205-212. [10]Hahn，B.An examination of listening acquisition:A study of Japanese university students[J].IAFOR Journal of Education，2018(1):59-72. [11]Hayati，A.&F.Mohmedi.The effect of films with and without subtitles on listening comprehension of EFL learners[J].British Journal of Educational Technology，2011(1):181. [12]Hsu，C.，Hwang，G.，Chang，Y.&C.Chang.Effects of video caption modes on English listening comprehension and vocabulary acquisition using handheld devices[J].Journal of Educational Technology&Society，2013(1):403-414. [13]Ince?ay，V.&Z.Ko?ogˇlu.Investigating the effects of multimedia input modality on L2 listening skills of Turkish EFL learners[J].Education and Information Technologies，2017(3):901-916. [14]Kam，E.，Liu，Y.&W.Tseng.(eds.).Effects of modality preference and working memory capacity on captioned videos in enhancing L2 listening outcomes[J].Re CALL，2020(2):213-230. [15]Krashen，S.Principles and Practice in Second Language Acquisition(1st edn.，Language Teaching Methodology Series)[M].Oxford:Pergamon，1982. [16]Lee，M.&A.Révész.Promoting grammatical development through textually enhanced captions:An eye-tracking study[J].The Modern Language Journal，2018(3):557-577. [17]Martin，J.R.Language，register and genre[J].Children Writing Reader 1，1984(3):984. [18]Meier，A.L2 Incidental vocabulary acquisition through extensive listening to podcasts[J].Working Papers in Applied Linguistics and TE-SOL，2015(2):72-84. [19]Miller，C，R.Genre as social action[J].Quarterly Journal of Speech，1984(2):151-167. [20]Omid，O.，Mohammad，T.&M.Hamed Abbasi.The effect of taskbased listening activities on the listening comprehension:A case of Iranian IELTS candidates[J].International Journal of Applied Linguistics and English Literature，2018(5):34-42. [21]Peters，E.The effect of imagery and on-screen text on foreign language vocabulary learning from audio-visual input[J].TESOL Quarterly，2019(53):1008-1032. [22]Piaget，J.To Understand Is to Invent:The Future of Education[M].G.Roberts(Trans.).New York:Grossman Publishers，1973. [23]Prodi，N.，Visentin，C.&A.Farnetani.Intelligibility，listening difficulty and listening efficiency in auralized classrooms[J].The Journal of the Acoustical Society of America，2010(1):172. [24]Suárez，M.D.M.&F.Gesa.Learning vocabulary with the support of sustained exposure to captioned video:Do proficiency and aptitude make a difference?[J].The Language Learning Journal，2019(4):497-517. [25]Tri Yuliana，A.，Wahyuddin，N.&Y.St.Nurjannah.Chart filling as a transfer information activity in teaching listening comprehension at SMAN 1 BENTENG，SELAYAR[J].Eternal (English，Teaching，Learning&Research Journal)，2017(1):25-34. [26]Valentini，A.，Ricketts，J.，Pye，R.&C.Houston-Price.Listening while reading promotes word learning from stories[J].Journal of Experimental Child Psychology，2018(167):10-31. [27]van Zeeland，H.&N.Schmitt.Incidental vocabulary acquisition through L2 listening:A dimensions approach[J].System，2013(3):609-624. [28]Vygotsky，L.S.Mind in Society[M].Cambridge，MA:MIT Press，1978. [29]Wannagat，W.，Waizenegger，G.，Hauf，J.&G.Nieding.Mental representations of the text surface，the text base，and the situation model in auditory and audiovisual texts in 7-，9-，and 11-year-olds[J].Discourse Processes，2018(3):290-304. [30]Wolf，M.，Muijselaar，C.Boonstra，L.&A.Bree.The relationship between reading and listening comprehension:Shared and modalityspecific components[J].Reading and Writing，2019(7):1747-767. (责任编辑：admin) |
- 上一篇：学习者学术英语写作立场副词的使用特征
- 下一篇：积极心态有助延缓语言衰退