眼动追踪技术在我国语言研究中应用状况的CiteSpace可视化计量分析
http://www.newdu.com 2024/11/02 06:11:44 《湖南大学学报：社会科 张星 王建华 参加讨论
内容提要：眼动技术在国外语言研究中有近两个世纪的应用，而在我国仅有近三十年的历史，其使用的广度和深度不断提高。本文通过使用CiteSpace文献计量工具，梳理了我国语言研究文献中结合眼动技术的相关成果，从研究主题、研究方法及学科发展态势等三个方面挖掘了该领域研究前沿和研究空白，指出了眼动技术在语言研究领域的发展前景，为学者们提供了后续研究的思路和依据。 关 键 词：眼动追踪；语言研究；认知 作者简介：张星，王建华，中国人民大学外国语学院。 基金项目：中国人民大学教学改革项目（20150301）。 一、引言 眼动记录法最早始于19世纪末，经历了传统眼动记录方法和当代眼动记录方法两个阶段，从原始的观察法到瞳孔和角膜反射视频记录法再到红外线普金野图像跟踪法，已经实现了自然条件下的眼动记录以及非侵入式眼动追踪，记录的精度越来越高，数据记录和处理的速度越来越快（卞迁等，2009）。[1]眼动通过一系列眼动指标（包括：注视、凝视、回视、眼跳等）反映了视觉信息的采集和加工方式，是心理学研究的一种重要方法，被广泛应用于心理学研究领域，包括：心理语言学、广告心理学、运动心理学等（李晓娟，2007）。[2]近年来，随着眼动技术的进一步发展，语言研究中的眼动技术应用在广度和深度上都出现了大幅度增长，包括翻译认知、二语习得、口语感知、阅读障碍、人机交互等相关研究。 本文试图通过CiteSpace可视化图谱分析工具对眼动技术在我国语言研究中的应用状况进行统计和分析。首先需要对语言研究类文献进行界定，才能收集有效数据、做好CiteSpace分析的文献准备。笔者认为，可以从研究范畴、表达形式、应用领域等三个方面来定义语言研究的内涵和外延。对于语言研究范畴的分类，目前有两种主要说法：一是瑞士语言学家索绪尔在其所著《普通语言学教程》中提到的内部语宫学和外部语言学之分，二是美国语言学家沃尔夫（B.L.Whorf）在其论著《语言、思想和现实》中提出的微观语言学和宏观语言学分类。这两种分类方法其实如出一辙，都是通过区分研究对象来确定其研究范畴。微观语言学与内部语言学主要研究语言材料本身以及其内部结构规律，具体研究内容包括语音学、形态学、句法学和语义学。宏观语言学与外部语言学主要是对语言进行外围性研究，揭示其与种族、文化、政治/社会制度、人文地理等的关系，具有跨学科特性，主要包括社会语言学、心理语言学、应用语言学、神经语言学、话语分析等（王德春等，1991；孔庆成，1994；岑运强，2000）。[3-5]如此看来，语言研究范畴包括对语言内部因素和外部因素的两方面探索。从语言的表达形式来看，根据索绪尔的语言理论，任何语言只要有相应的文字，都可以分为语音形式和书面形式。语音形式主要通过听和说来实现，包括口语感知和语音语调等方面的内容；而书面形式主要通过读和写来实现，包括阅读理解与文本写作等方面的内容。除此之外，根据语言应用领域的不同，语言研究还可以包含语言测试、语言教学、翻译与词典学等研究内容（高素珍等，2005）[6]。综上所述，本文涉及的语言研究类文献包括以下类别：语言学、语言学交叉研究、口语、听力、阅读、写作、口笔译、语言测试及语言教学等等。 索绪尔认为语言是表达思想的符号系统，自然语言符号既包括语音符号，又包括文字符号；而“我们一般通过文字认识语言……文字表现语言”。因此，大部分语言研究是建立在文本文献基础上的，通过对书面语言的分析来探索语言研究的各个领域。书面语言及文字信息的获得主要通过人的眼睛来识别和采集，“文字信号经过视网膜转变成神经信号送到中枢神经系统去处理的同时，中枢神经系统通过运动神经来反馈控制眼球运动”（孙复川，1988），[7]可见眼球运动是反应和考察大脑在语言接收、编码和加工过程中进行的认知活动的有效指标和重要途径。事实上，国外最早的眼动实验就是观察阅读书面语言时的眼动（韩玉昌，2000）。[8]至今，已有很多国内外学者通过眼动追踪技术，对以语音或文本形式呈现的语言进行研究。其中，国外的该领域研究始于19世纪，大致经历了三个阶段；而国内学者在20世纪80年代才开始使用眼动仪并将眼动分析法应用于阅读等语言研究领域，虽然起步相对较晚，但取得了不少的成果（阎国利，2001）。[9]国内发表的结合眼动技术的语言研究相关文献所包含的研究热点和发展方向极为丰富和广泛，很有必要进行系统梳理和归纳，为国内该领域的持续发展和深入研究提供方向性的参考和指引。目前，在国内发表的论文中并无用CiteSpace可视化计量分析方法对眼动技术在语言研究中应用状况的统计分析，但有一篇关于眼动与汉语研究动态的CiteSpace文献计量文章（甘桥，2017），[10]其研究成果值得借鉴。与甘桥的文章对比，本研究不仅在文献覆盖范围上进一步拓宽，而且在文献挖掘深度上也做出了更多的尝试。 二、数据来源和研究方法 （一）数据来源及文献筛选 本研究主要分析眼动技术在我国语言研究中的应用状况，以中国期刊全文数据库（CNKI）为数据来源，检索时间为2017年9月20日，在哲学与人文科学分类下提取了眼动主题下的中文文献共计1084篇。经过严格的手动剔除和筛选方法，最终获得410篇关于眼动技术在语言研究中应用状况的文献。具体筛选标准和剔除过程是：1）在文献内容上，首先根据引言中界定的语言研究内涵和外延，确定哪些文献不但使用了眼动追踪方法，而且属于语言研究领域，而不是其他领域，例如：面孔表情识别、注意力与视觉、记忆与认知、广告与包装、驾驶行为、网页与媒体、情绪与情感研究等。其次，通过查阅文章题目、关键词、正文以及引用文献中的眼动字样，确认保留下来的文献不是单纯介绍眼动技术或者提及眼动一词，而是借助眼动技术对语言进行研究，其实验结果揭示了语言的各方面特征。同时，只在正文或者参考文献中出现眼动字样而无深入探讨，不计入可用文献范围。2）在文献类型上，确定保留的文献都属于期刊论文，剔除了书评、发言与访谈、会议纪要、培训启事、期刊介绍、成果公告等非期刊内容。 （二）CiteSpace计量原理及使用方法 CiteSpace是由德雷塞尔大学华人学者陈超美（Chaomei Chen）博士开发的一款主要用于计量和分析科学文献数据的信息可视化软件，可以用来绘制科学和技术领域发展的知识图谱，直观地展现科学知识领域的信息全景，识别某一科学领域中的关键文献、热点研究和前沿方向（侯剑华等，2013）。[11]CiteSpace可视化图谱展现的是某个学科领域知识发展的历史和现状，通过提供三种可视化视图：聚类视图、时区视图和时间线视图，将该学科领域的知识基础（intellectual base）和研究前沿（research front）的主要结构与发展脉络用网络形式表现出来。其中，聚类视图侧重于不同研究领域的知识结构，时区视图更注重于描绘各研究主题随时间的演变趋势和相互影响，时间线视图更便于看出某个研究主题相关文献的时间跨度且主要用于cited reference分析。 CiteSpace工具的使用方法包括三大步骤：1）数据准备；2）导入数据；3）图谱调谐。本研究将2.1中精拣出来的410篇文献用refwork格式导出，使用CiteSpace内置的格式转换功能将CNKI（refwork）格式转换成以download开头标记的.txt格式，并将其存放在以data命名的文件夹里面，这样便完成了数据准备工作。接下来打开CiteSpace软件，按照使用说明，根据研究目的选择适当的数据设置及其阈值（threshold），完成数据导入工作。网络静态图出现之后，可以通过聚类分析和参数调节优化可视图谱，将图谱调谐到可供分析的最佳效果。 三、基于CiteSpace可视化知识图谱的数据分析 本文旨在探析眼动技术在国内语言研究中的应用状况，借助CiteSpace的可视化图谱功能，对该领域410篇文献进行了文献统计和分析。CiteSpace的设计者陈超美博士认为，CiteSpace计量的首要目的就是分析什么是科学研究的核心课题；在此基础上，进而探索核心课题之间的关系、研究热点和新兴领域、学科进展和发展态势等（Chen，2014）。[12]本文将充分利用CiteSpace的这些分析方法，从核心课题与新兴领域、学科进展与发展态势等方面揭示该研究的前沿动态。 （一）核心课题与新兴领域 目前，基于计算机的研究前沿识别方法主要分为基于引用关系和基于文本内容两个方面，基于引用关系的方法包括共被引、文献耦合以及直接引用，基于文本内容的方法包括基于词频、共词以及文本挖掘（许晓阳等，2014）。[13]陈超美开发的CiteSpace软件可以通过两种方式析出学科前沿和热点的网络图，一种是共被引分析（cited reference，cited author，cited journal），一种是共现网络分析（term，keyword，category）。由于CNKI中文数据导出的内容不包括参考文献，无法采用共被引分析方法，本文选择了以keyword为节点类型的共现词分析方法，结合聚类分析，从而识别研究热点和前沿领域。图1是采用最小生成树法得到的关键词共现网络图，实际得到的文献时间跨度为1988年至2017年（其中2017年度文献截止到2017年9月20日），产生节点68个、连接线78条（N=68，E=78），网络模块化程度（Modularity Q=0.6291）与平均剪影度（Mean Silhouette=0.7776）较高，说明该网络图的聚类结果结构显著（MQ＞0.3）、信度很高（S＞0.7）（李杰等，2016）。[14] 关键词是文献内容的浓缩，是一篇学术论文的精髓所在，对关键词进行分析则能把握学科研究热点与前沿（宗乾进等，2012）。[15]CiteSpace的共现关键词聚类可以用来分析研究热点与前沿。从图1中可以看出，我国眼动技术在语言研究中的应用主要有表1中的9个热点。其中，注意梯度指导理论这个聚类标签是无效的，因为聚类大小为1且剪影度为0，表示该标签词出现频率很少且共现关键词之间相似度为0，可以忽略（详见下页表1）。   通过表1中的8个热点关键词可以看出，越来越多的国内学者借助眼动技术开展语言研究，眼动研究已经成为语言研究的重要范式，两者结合的研究朝着多元化、跨学科方向发展。具体表现在： 1.研究主题 研究主题越来越细化，从最初的阅读眼动研究逐渐深入到汉语阅读、知觉广度、词切分等分支领域。中国学者最早使用眼动仪进行语言研究的领域是阅读（孙复川等，1988；唐春华，1992；白学军，1993）。[7，16-17]早期的阅读眼动研究主要包括两个方面：一是单词、句子与篇章加工中的眼动，包括词频词类、句法歧义、前项搜索和精细推理等等；二是眼动与认知加工过程之间的关系，包括在眼-脑关系和眼动控制模型等方面的假说和论证（王君明等，1996）。[18]这些用眼动法来研究阅读的文献主要围绕着人类阅读过程内部的认知机制这个核心问题，是近几十年来的研究热点（王君明等，1996）。[18]值得一提的是，由沈德立教授主编，教育科学出版社2001年出版的《学生汉语阅读过程的眼动研究》一书，不仅对国外阅读中的眼动研究与我国大陆及港台这方面的研究作了系统全面的总结概括，而且是自二十世纪八十年代中期以来利用现代技术和认知心理理论所做眼动研究的重要成果。事实上，通过CiteSpace图谱工具得到的含眼动关键词语言类文献的年份数据（图2）和含阅读关键词眼动研究文献的年份数据（图3）也可以看出，大规模的眼动语言类研究开始于90年代初，自2001年之后呈现逐渐上升的趋势，这与系统反映我国阅读眼动研究成果《学生汉语阅读过程的眼动研究》一书的出版密切相关，从此，中国的阅读眼动研究上了一个新的台阶。随着阅读眼动研究不断地深入细化，出现了汉语阅读、知觉广度、词切分等中介中心性较高的关键词（按照中介中心度由高到低排列，具体见表2）。根据陈超美对于中介中心性的定义，图1中的这些带紫色外圈的关键词节点都是语言类眼动研究领域的重要转折点（Chen Chaomei，2006），[19]对于该领域研究的未来发展具有重要的革新意义。相比其他转折点，汉语阅读从2010年开始成为眼动研究的持续热点词，直到2017年仍然保持着一定数量的文献产出（见图4）。笔者认为，这正是在学习汉语热潮掀起（林华，2009）[20]以及中国文化软实力影响不断提升的契机下产生并随之不断发展起来的研究领域，符合以社会文化发展需求为导向的科学研究发展思路，必将继续成为未来研究的热点前沿。 从以下CiteSpace图谱分析结果可以知道，我国语言类眼动研究主要集中在阅读眼动研究方面，尤其是汉语阅读的眼动研究出现了上升趋势。鉴于CiteSpace在分析CNKI数据时不能进行共被引文献分析，笔者将410篇备用文献中的前10位高被引频次文献列出来（见表3），从文献引用角度略窥了语言类眼动研究的热点问题——阅读及汉语阅读，与CiteSpace图谱分析结果基本一致。    另外，2016和2017出现的热点词“新词学习”和“词典编纂”，都属于应用语言学的研究范围，这说明国内学者已经开始利用眼动技术探索语言应用领域的实际问题，那么语言教学、翻译和词典学等领域必将成为我国眼动技术应用的新兴研究领域。目前来看，眼动技术在以上领域中的应用相对较少，有待学者进一步探索。 2.研究方法 研究方法趋于多样化，从单纯使用眼动技术发展到与其他研究技术的结合使用，为深入认知研究提供全新的思路（卞迁等，2009）[1]。多样化的研究技术手段相互结合的研究方法，不仅符合眼动技术发展的自身规律，而且也是我国语言研究朝着跨学科方向转型的需要。表1中出现的ERP和键盘记录这两个研究热点词，正是当前语言研究中采用的两种与眼动记录法结合使用的先进技术。  ERP又称事件相关电位（event-related potential），是通过记录刺激呈现后诱发的大脑电反应信号来分析大脑在语言产生和理解过程中的认知加工机制，是认知语言学和神经认知学科的常用技术手段。ERP具有在线监测脑认知活动的技术优势，“较之于其他认知神经科学手段，ERP技术具有时间分辨率高等许多优点”（罗跃嘉等，2006）。[21]ERP因其快速系列呈现范式（rapid serial visual presentation，RSVP）的局限性，存在呈现速度较慢和破坏自然阅读过程两个缺陷。眼动技术，以更加自然的方式实时考察阅读理解过程，增加电生理指标的信度和解释力，与ERP技术结合可以弥补单一研究方法的局限（陈庆荣等，2011）。[22]近些年，已有一些研究者使用眼动和ERP多模态数据对语言理解和认知方式进行分析，但都是在实验中分别记录眼动和ERP数据，“以在一定程度上进行互补，从而为揭示语言加工的特点和机制提供行为和电生理证据”（陈庆荣等，2011）。[22]国内暂无同步使用眼动和ERP技术来分析语言现象的成果，这是未来我国语言研究学者可以尝试突破的新兴领域。 键盘记录，是指通过计算机软件实时监测和记录所有键盘活动，其数据用于对某一具体任务过程的描述和分析，例如：写作任务和翻译任务。键盘记录与眼动技术的结合，可以弥补彼此功能上的局限性，通过互证对比，用更加全面的数据对具体任务过程中的认知活动进行探悉。目前，国内同时使用眼动技术和键盘记录的语言类实证研究成果并不多见，仅有两篇对写作过程和翻译过程的研究（王兰忠，2016；冯佳，2016）。[23-25] “不少研究都同时运用两种或多种方法，如结合使用有声思维法、回溯式口头报告、键盘记录、眼动追踪、问卷调查、访谈、屏幕录制等方法，搜集多元化数据，交叉验证研究假设”（冯佳，2016）。[25]眼动技术毕竟只是对行为的记录和分析，必须与其他研究手段相结合，才能深入剖析语言产生和理解过程中的认知加工机制，这种多元互证法（triangulation）已经成为交叉验证研究假设的有效路径。 （二）学科进展与发展态势 “根据词频的时间分布和变化趋势，从大量的文献主题词中提炼出突变术语（burst），能有助于较清晰地分析和了解某一学科的研究前沿领域和发展趋势。与一般的高频次关键词相比，突变专业术语的动态变化特性使之能更准确地反映出某一学科的研究前沿。”（李红满，2014）。[26]CiteSpace软件生成的突变词表（图5）显示，1988年至2008年的两个突变值较高的关键词是阅读和阅读过程，反映出语言类眼动研究的主要领域和研究前沿一直聚焦在阅读研究上。  从图6的关键词时区视图可以看出，外圈的高频高中心度关键词虽然首次出现的年份有早晚，但都仍然出现在2016年和2017年的热点词里，说明这些关键词不仅具有很高的研究价值（历时长），而且是当前的研究热点。显而易见，眼动技术在语言研究领域的主要应用范围包括：阅读、知觉广度、词切分、汉语阅读（按照出现的先后顺序）。其中，汉语阅读作为出现较晚的研究领域，尚待进一步挖掘，是未来眼动研究的热点与前沿之一。 综上所述，我国语言眼动研究中文献最多的就是阅读眼动研究，构成国内语言眼动研究的重要知识基础。在此基础之上，阅读研究慢慢细化到知觉广度、词切分、汉语阅读等新兴领域，这些领域都将成为我国眼动技术应用的重要方向。同时，眼动仪在我国语言研究中的广泛应用将促使语言研究向认知科学进一步靠拢。 本文采用CiteSpace可视化图谱工具，通过聚类、中介中心度、突变词、时区视图等一系列分析方法，对国内语言研究使用眼动技术的情况进行了文献统计和分析。研究结果表明：（1）我国语言类眼动研究主要集中在阅读研究上，汉语阅读的眼动研究出现了上升趋势，已经成为阅读研究的新导向；（2）眼动技术逐渐应用到语言教学、翻译和词典学等应用语言学领域；（3）眼动技术促进了语言研究在认知领域的探索；（4）眼动技术与其他研究技术结合使用的多元互证法将成为实证科学的理想方法。本文的研究发现，不仅挖掘了研究前沿和研究空白，而且指出了眼动技术在我国语言研究领域的发展前景，在一定程度上给国内学者们提供了后续研究的思路和依据。 原文参考文献： [1]卞迁，齐薇，刘志方，等.当代眼动记录技术述评[J].心理研究，2009，2(1)：34-37. [2]李晓娟.眼动方法在心理学研究中的现状及其趋势[J].大同大学学报(自然科学版)，2007，23(2)：69-71. [3]王德春，金立鑫.论微观语言学[J].外国语，1991(4)：1-7. [4]孔庆成.微观语言学新解及其意义[J].外语研究，1994(1)：19-24. [5]岑运强.言语的语言学的界定、内容及其研究的方法[J].北京师范大学学报(人文社会科学版)，2000(4)：72-77. [6]高素珍，刘海燕.应用语言学综观[J].济南大学学报，2005(5)：59-64. [7]孙复川.视觉信息处理：阅读中文和英文时眼动模式的对比研究[J].生物物理学报，1988，4(1)：1-6. [8]韩玉昌.眼动仪和眼动实验法的发展历程[J].心理科学，2000，23(4)：454-457. [9]阎国利，白学军.阅读过程中眼动特征的发展研究[J].心理学搽新，2001(4)：25-28. [10]甘桥.基于文献计量的眼动与汉语研究动态的知识图谱分析[J].长春教育学院学报，2017，33(5)：49-52. [11]侯剑华，胡志刚.CiteSpace软件应用研究的回顾与展望[J].现代情报，2013，33(4)：99-103. [12]Chen C.The CiteSpace Manual[EB/OL].http://cluster.ischool.drexel.edu/～cchen/citespace/CiteSpaceManual.pdf,2014. [13]许晓阳，郑彦宁，赵筱媛，等.研究前沿识别方法的研究进展[J].情报理论与实践，2014(6)：139-144. [14]李杰，陈超美.CiteSpace科技文本挖掘及可视化[M].北京：首都经济贸易大学出版社，2016. [15]宗乾进，袁勤俭，沈洪洲，等.知识图谱视角下的2010年我国情报学研究热点——基于知识图谱的当代学科发展动向研究之一[J].情报杂志，2011(12)：48-53. [16]唐春华.浅谈英语快速阅读与理解[J].楚雄师专学报(社会科学版)，1992(1)：67-71. [17]白学军，阎国利.儿童理解课文时眼动过程的研究[J].天津师范大学学报，1993(6)：12-18. [18]王君明，陈永明.眼动记录法对阅读研究的贡献[J].心理学动态，1996(4)：23-28. [19]Chen Chaomei.CiteSpaceⅡ:Detecting and visualizing emerging trends and transient patterns in scientific literature[J].Journal of the American Society for Information Science and Technology,2006,57(3):10-16. [20]林华.“汉语热”让世界触摸中国[J].观察与思考，2009(4)：35-36. [21]罗跃嘉，姜扬，程康.认知神经科学教程[M].北京：北京大学出版社，2006. [22]陈庆荣，王梦娟，刘慧凝，等.语言认知中眼动和ERP结合的理论、技术路径及其应用[J].心理科学进展，2011(2)：264-273. [23]王兰忠.基于键盘记录和眼动仪的中文二语写作过程研究[J].外语电化教学，2016(2)：35-39. [24]冯佳.眼动追踪和键盘记录在翻译教学中的应用——以提高策略能力为中心的MTI教学实验[J].中国大学教学，2016(12)：65-71. [25]冯佳，王克非.探悉翻译过程的新视窗：键盘记录和眼动追踪[J].中国翻译，2016(1)：12-18. (责任编辑：admin) |