语言学理论对自然语言处理的影响和作用
http://www.newdu.com 2024/11/29 04:11:23 《云南师范大学学报：哲 徐大明 参加讨论
Influences of Linguistic Theories on Natural Language Processing 作 者：徐大明 作者简介：徐大明，男，山东青岛人，澳门大学人文学院教授，博士生导师，研究方向为语言变异与语言变化、言语社区理论、城市语言调查、双语与双方言、多语社会（澳门 999078）。 原发信息：《云南师范大学学报：哲学社会科学版》(昆明)2017年第20173期 第1-9页 内容提要：语言学理论对自然语言处理的影响不仅可以从基于规则的理性主义方法看到，也可以从基于机器学习的经验主义方法中感到。由于缺乏对社会语言学理论和成果的了解，目前的自然语言处理仍然局限于语言的符号学理论的框架，没有从社会结构和社会互动的角度来理解语言和言语交际，因此难以突破语义处理的困境。突破困境的出路在于语境语义模型的建立，根据社区语境分类的大数据语料将有助于深度学习，发现有用的语用参数并构建语境语义处理的模型。 关 键 词：语言学理论/自然语言处理/社区语境/大数据/语境语义 学界近来对“语言信息化”的研究比较重视，发表了一系列的文章，介绍和讨论“机器翻译”“自然语言处理”“中文信息处理”“自然语言理解”“计算语言学”“深度神经网络”等研究领域。①除了从研究领域的历史、现状、发展策略等方面的综述和分析之外，我们还看到对语言信息化的产业和产品的介绍。②与此同时，语言信息化对人类生活的影响，以及具体到语言教育、语言规划等方面的影响也受到重视。③然而，语言信息化的核心问题看来仍然是自然语言处理的研究和应用，④而其中的前沿性课题是自然语言理解。⑤ 一般认为，自然语言处理是人工智能和语言学的交叉学科。但是，从其发展历程上来看，基本上还是由计算机科学家主导的一个研究领域，语言学家发挥的往往是辅助性的作用。甚至于，在其发展历史的许多阶段都没有语言学家的直接参与。⑥然而，无论从其发展历程、现状和发展策略上来看，似乎都可以看到语言学理论的影子。尽管如此，对此目前还没有比较明确的确认和分析。因此，本文做这方面的初步尝试，抛砖引玉，以期引起相关的讨论。 除了从宏观方面探讨语言学理论和自然语言处理的关系外，本文重点讨论社会语言学理论对自然语言处理的影响和作用，同时分析言语社区、⑦语境语义⑧等概念对自然语言理解的作用，及其在自然语言处理中可能的应用。 一、语言学理论与自然语言处理 自然语言处理迄今的发展已经开始模糊人类语言的界限，人类开始和机器共享语言这一信息工具。⑨因此，语言学的研究对象恐怕也要逐渐超出原有的界限。目前计算机学习和使用自然语言的研究成果会对语言习得、语言学习和语言使用的研究提供新的启发。与此同时，从语言学理论的视角审视自然语言处理的历史和现状，恐怕也可以对其今后的发展提供启示。 从计算机科学的角度来认识和讨论自然语言处理所取得的成果及其当前所面临的问题已经有很多，⑩从语言学角度讨论的就比较少。从语言学角度来审视自然语言处理的发展状况，已经提出的问题包括跨语言的模型应用问题、脱离语言的文化背景问题，等等。(11) 有关专家指出，自然语言处理的两大流派是理性主义和经验主义，前者被认为是以乔姆斯基（Noam Chomsky）的语法理论为基础，后者似乎没有受到语言学理论的影响。(12)然而，所谓“理性主义”就是主要采用规则和知识库的逻辑推理系统的方法；而“经验主义”就是基于大规模语料库的统计机器学习方法。其实，语言作为一个规则系统的思想建立在“语言是一个符号系统”的思想之上；前者由乔姆斯基弘扬，后者则归功于结构主义语言的创始人索绪尔（Ferdinand de Saussure）。 我们发现，20世纪语言学的主要成果，特别是结构主义语言学和生成语法的理论成果在自然语言处理中得到了有成效的应用。然而，近年来发展起来的社会语言学的理论成果还没有得到适当的应用。社会语言学的理论吸取了美国结构主义语言学面向客观语料的描写主义的精华，也吸收了以乔姆斯基为代表的形式语言学的部分成果；但它的主要方法论体现了由主观向客观、由推理向归纳、由定性向定量的转向。具体来说，它抛弃了内省的语料验证方法，依据实际产生的语料，观察语言使用中的概率现象，将语言解释为是一种社会互动机制和社会组织行为的结果。(13)因此，自然语言处理的机器学习采用实际产生的语料，统计语言形式的共现概率，建立归纳式的模型，不能不说是受到社会语言学的一些影响。但是，由于还没有领会社会语言学的真谛，目前的自然语言处理还缺乏自觉地建立社会语言学的处理模型的能力。 当前的语言学界已经认识到语言研究的对象，不仅仅是语言形式和语言形式所表达的意义，还包括语言使用的环境。而社会语言学的成果恰恰集中在后者。以实用为目标的自然语言处理，不能停留在抽象的语言形式的层次，必须要处理具体的话语。要理解话语，就必须理解语境。所以，自然语言处理的应用需要超越对形式语义的理解，需要包括对结合语境的话语意义的理解。 结构主义语言学成功地分析了自然语言的语素音位系统，因此自然语言处理目前在语音识别、语音合成、语音文字转换等方面都取得了很大的成功。生成语法对句法规则的形式化的表述可以说是引起计算机科学家对自然语言处理产生兴趣的一个原因。其句法分析的成果也在当前的自然语言处理中得到应用。尽管如此，结构主义语言学对于抽象的结构系统的偏重和对于语义研究的回避，生成语法完全排斥言语交际的研究，这些都对语言学的发展，以至自然语言处理的发展产生了严重的影响。 (责任编辑：admin) |
- 上一篇：语用学综观论：话语分析的理论基础与应用
- 下一篇：语用学研究:学术创新与文本呈现