论语言科学与语言技术

时间:2022-12-18 05:07:00

导语:论语言科学与语言技术一文来源于网友上传,不代表本站观点,若需要原创文章可咨询客服老师,欢迎参考。

论语言科学与语言技术

一、“语言科技”新思维的提出

虽然计算机设计的初衷是缘于数值计算,但是英国数学家图灵(a.m.turing)在《机器能思维吗?》(1950)一文中已经预见到计算机和自然语言将结下不解之缘,并且提出检验计算机智能的最好方法就是对语言信息的处理能力。1977年,费根鲍姆(feigenbaum)提出知识工程,计算机信息处理出现了从“数据世界”向“知识世界”的转移趋势。知识世界的载体是语言符号系统,语言信息处理的需求促使语言研究过程和语言研究成果的技术化趋势日益明显,当代语言学已凸显出“语言科学”与“语言技术”的二分互补格局,由此我在《南京师范大学语言科技系建设发展规划》(2001年2月)中提出“语言科技”的新思维。“语言科学”主要指基础性的描写语言学和理论语言学。“语言技术”主要指面向信息处理的应用语言学或计算语言学,其研究任务可划分为“文本处理技术”和“语言模拟技术”。简而言之,语言文本处理技术是通过编辑和编程,将印刷文本转化为可供计算机使用的电子文本的技术。语言系统模拟(simulation)或者语言能力仿真(emulation)技术是通过算法和编程,将自然语言的理解和生成能力输入计算机的技术。获得语言能力的计算机可以实现“人—机对话”而成为名实相符的“电脑”。为研制智能机服务的“语言系统模拟”,可比喻为“语言基因图谱分析工程”和“语言能力移植工程”。强调语言研究的技术化,并非忽视传统语言学研究存在技术性的一面,例如实验语音学和方言语音调查等。之所以以往未能突出语言研究的技术化,其原因在于——除语音研究可借助声学技术设备以外——语言研究的绝大多数领域还一直没有相应的实验性技术设备。

虽然当代语言学家不可能也不必要都转向计算语言学研究,但具有一定的语言信息处理意识却非常必要。早在1964年11月,美国科学院语言自动处理咨询委员会就在《语言与机器》的报告中明确指出:机器翻译遇到了难以克服的semanticbarrier(义障)。然而这一警告,除了致使机器翻译研究热的暂时消退以外,并没有引起语言学界的足够重视。1982年,日本制订了一个为期10年面向ai(人工智能)的“第五代计算机”即智能机的研制计划,其中包括自然语言处理装置。1992年结束时,只部分达到了预定目标。随后又公布了另一个为期10年的“真实世界计算机(rwc)计划”即“新信息处理技术计划”。(许万增1996,p.61-62)据说,90年代后期日本不得不宣布暂停研制,其根本原因就在于未能穿过语言研究的“瓶颈”。自然语言处理装置的任务无法实现,计算机谈何“真实世界”或“人工智能”。时至今日,这一“义障”仍然没有跨越。在《新世纪将对人类产生重大影响的十大科技趋势》(新华社北京2000年12月30日电)的报道中,列出21世纪的“认知神经科学领域”和“信息技术领域”,并分别提出来“探索意识、思维活动的本质”和“计算机向智能化方向发展”的任务,然而没有语言科技领域的合作——关键是认知语义结构网络研究的根本性突破——则不可能实现。

无论从手段还是就目标,对准自然语言处理的当代语言学研究,其性质都应界定为“语言科技”。“语言科技”的内涵是以理论研究为指导,以描写研究为基础,以应用研究为枢纽,促使语言研究向计算机应用、数学、认知科学和现代教育技术领域延伸,沟通文理工相关学科以实现语言研究过程及其成果的技术化;“语言科技”的外延表现为语言工程科技、语言教育科技和语言研究科技。语言学和计算机科学等学科相结合的“语言工程科技”,研究领域是“人—机对话”,其目标主要是自然语言能力的模拟。语言学与现代教育技术相结合的“语言教育科技”,研究领域是“人—人对话”,其主要目标是实现语言教育的多媒体和网络化。“语言研究科技”是将语言研究活动与计算机工具相结合,其主要目标是实现语言学自身的计算机化,包括语料库、词库和句库的研制,语言研究的分析性、统计性、比较性和实验性软件的开发等。这一新思维既突出了当代科技发展所要求的“语言学的技术化”,又体现了以语言学为本而沟通文理工相关学科的研究旨趣。

二、计算语言学的界定要突出技术性

20世纪50年代以后,在理论方法交叉渗透而形成诸多边缘语言学的同时,语言学与计算机结合的趋势开始出现。1954年,在美国乔治敦大学所进行的世界上首次机器翻译试验,标志着计算机科学与语言学的结合已经起步。在这一研究领域,立足于不同的学科视角或知识结构,先后出现了一系列名称术语,如“语言工程”、“语言工程学”、“自然语言的计算机处理”(工科视角)、“语言信息处理”(信息学视角)、“数理语言学”(数学视角)等等。20世纪60年代以后,计算机和语言学的结合逐步深入到语言学的各个领域,形成了包括计算语音学、计算词汇学、计算语法学、计算语义学等分支学科在内的计算语言学(computationallinguistics)。其中“计算语音学”等名词,虽然计算语言学界没人提过,因为已经存在着“言语识别”、“言语合成”等计算机应用专业术语,但是从“语言工程学”到“计算语言学”的术语演变中,透露出“语言学立场”在这门交叉学科中的日益强化。虽然目前的计算机运算速度已经可以满足语言信息处理的技术要求,但是之所以“人—机对话”尚未实现,其“瓶颈”就在于现有的语言研究成果无法满足计算机处理的要求。归根结底,语言信息处理的最终目标就是“计算机模拟语言能力工程”或“语言能力移植计算机工程”。探索语言能力的性质和描写语言系统的结构,这些艰巨性工作还得由语言学家先来完成。语言信息处理或计算语言学务必以语言学为本而以计算机为用。语言学家必须具备“数字化”意识,了解计算机需要怎样的语言描写成果,然后才可能将研究目标对准语言工程。

迄今为止,正如许多发展中学科一样,“计算语言学”的定义尚无一致认定,归纳起来盖有四种观点(侯敏1999,p.2—p.6):

第一种,计算语言学是以计算机为工具研究语言学。侯敏认为,任何一个学科在使用工具方面都是自由的,使用不同工具研究一个学科会带来不同特点,但不因为使用了新工具就产生了新学科。虽然并不排除新工具的使用没有导致新学科的产生,但同样不能否认工具的变革有可能带来学科体系的革命,以致于产生新的分支或交叉学科。现代自然科学之所以能够建立,无疑得益于望远镜和显微镜的应用,前者打开了人类认知的宏观世界之门,后者打开了人类认知的微观世界之门。望远镜和显微镜带来的不仅仅是“这一个工具”,而是人类认知方式的巨大变革,从而引起了天文学、生物学等自然科学的一系列革命,产生了一系列新学科。因此,问题在于如何使用新的工具或新认知方式。如果仅仅利用计算机做语言研究的统计工具,也许不会产生新的分支学科,但是利用计算机作为语音分析和合成的工具,则形成了计算语音学。

第二种,计算语言学是把语言学成果应用于计算机。侯敏认为,计算机的应用领域几乎没有限度,什么学科的成果都可以在计算机上应用,因此在计算机上应用语言学的研究成果不足以建立新学科。问题不在于在什么学科的成果能在计算机上应用,而在于在计算机上所应用的成果的性质。与其他学科研究对象的性质迥然不同,语言学科的研究对象——语言——是人类最重要的认知符号系统和知识载体,因此面向信息处理的语言成果应用于计算机足以建立新的学科。以往的语言学研究是面向人际交流,而计算语言学研究是面向人机交流,两者具有截然不同的性质。公务员之家版权所有

第三种,计算语言学是研究语言中的可计算问题。侯敏认为,虽然利用可计算理论研究语言符号是建立了一个新学科,但是这种说法偏于保守,没有把计算语言学推进语言学发展的作用充分体现出来。问题在于面向信息处理的计算语言学研究,其显著特点就是语言的可计算性。“推进语言学发展的作用”这不是计算语言学的定义,强调“研究语言中的可计算问题”未必保守,反而突出了计算语言学的显著特点。

第四种,计算语言学是建立基于计算机科学理论的语言学理论。侯敏认为,把计算机科学的基本思想和方法引进语言学领域,不但可以产生许多应用性课题,而且能够促使研究者从新的角度观察语言学,建立与传统语言学不同的理论。因此计算语言学是一种基于计算机科学理论所建立的语言学理论。问题在于:一方面计算语言学需要理论但本质上不是一门理论科学,同时并非所有的计算语言学家都乐意或适合从事理论研究,另一方面计算语言学的应用性质决定了研究成果的技术性特征,而绝大多数人可能更适合于——实际上也更需要——语言信息处理的技术性研究。

第一种和第二种是欧洲流行的广义定义,主张计算语言学是计算机和语言学的交叉,第三种和第四种是盛行于美国的狭义定义,主张计算语言学是计算机科学和语言学的交叉。也就是说,前者仅仅把计算机当成语言学研究中的一种新工具应用,而后者强调计算机学科的要求和理论对语言学的影响。陈小荷(2001)认为,计算语言学就是以计算机为手段来研究自然语言,较严格的定义是“通过建立形式化的计算模型来处理自然语言的一门科学”。要建立形式化的计算模型来处理自然语言,首先要完成适合于计算机使用的自然语言系统的描写。这一面向“人—机对话”的机用语言系统,与以往面向“人—人对话”的日常语法系统不同。因此机用语言系统的描写应当纳入计算语言学的研究范围,即完成了“机用语言系统”以后,才能“建立形式化的计算模型”使计算机获得自然语言能力。综上所论,计算语言学可以定义为——利用计算机作为工具研究语言、研究机用自然语言系统、研究语言系统或语言能力的计算性,同时建构基于计算机应用、数学模型、认知科学等相关学科基础之上的语言理论的新学科。姑且图示如下:

工具性:利用计算机研究语言

计算语言学描写性:研究机用自然语言系统

技术性:研究语言系统的计算性

理论性:建构新的语言学理论

虽然计算语言学的关键任务是研究人机之间的语言交际问题,即“如何教计算机学会说话”。但是从本质上来说,研究语言系统或语言能力的可计算性和利用计算机工具来研究语言是相通的,只是前者探索的是适合于人-机对话的语言能力,而后者讨论的是适合于人-人对话的语言规则。

依据目前的语言研究成果和信息处理技术路线,计算语言学包括应用基础研究、应用研究和理论研究三个方面。(陈小荷2001)应用基础研究指语言处理的基本技术研究。现阶段的主要进展是:1.自动分词技术:这是计算机理解自然语言的第一步。目前汉语书面语自动分词的正确率达到95%以上。2.词语特征标注技术:现阶段的词语特征包括词性和义项,这是句法结构理解的基础。两种标注可采用相似的计算模型但后者要复杂得多,目前尚无大规模的实验结果报道。3.语句分析技术:句法结构和语义结构是自然语言理解的关键技术,目前分析真实文本句子的正确率仅在40%左右。4.语料库建设技术:语料库是为特定目的而收集的言语作品集,包括语料处理和检索。研究语句分析需要存放句法分析树的“树库”,但目前的汉语语料库加工程度较低,所建立的树库很少且规模不大。5.语言知识库建设技术:语言知识包括词汇知识、语法知识和语义知识等,事实性和规则性知识分别放在机读词典和规则库中。语句分析技术之所以不能取得突破,主要原因就是目前尚无适合于中文信息处理的大规模语言知识库。

应用研究指自然语言处理的应用工具的研制。现阶段的热点主要有:1.机器翻译工具:半个多世纪过去了,机器翻译的质量仍然令人失望。现在通行的是有限范围翻译和机器辅助翻译。2.自动文摘工具:微软公司的词处理器word有用于英语的文摘功能,哈工大研制的hit-863i型中文自动文摘系统可按用户设定的比例压缩原文。3.自动校对工具:现在存在的主要问题是误报率过高,并且深层错误难以发现。4.信息检索工具:有主题词检索、全文检索两种。前者需要预先有一个主题词表;后者任意字符串都可成为检索对象。另外从语料库中自动获取各种知识的“信息抽取”在线工具的研究刚刚兴起。5.言语识别和言语合成工具:言语识别(或语音识别)可分为词语识别(计算机口语命令)、有限词汇识别(电话订票)和无限词汇识别(将成段说话转为文字)。言语合成(或语音合成)指用计算机将书面语转换为口语即“文语转换”,存在的问题主要是断词不当且语调刻板,仿真度亟待提高。

然而,如果以为应用性特征明显的计算语言学仅仅是技术,则未免失之于偏颇。计算语言学有着相应的理论研究,大致包括人工智能理论(含计算模型理论。目前的人工智能研究,主要还是集中在人工体能、人工技能。在语言能力移植电脑过程未取得实质性进展以前,还谈不上真正的人工智能)和语言学理论两个方面。例如计算机如何或是否可以模拟人脑和语言能力,如何寻找合适的语言计算模型等,就是计算语言学家特别关心的理论问题。除此之外,还有对自然语言本质属性的重新认定、面向信息处理的机用语法学理论、语言系统与数学模型的关系、语言结构和数理逻辑的关系、语言符号的数字化可能性及其局限性、语言的异质性和受限性或语域理论、元语言理论和研究方法等一系列问题。总体而言,一方面,由于牵涉的学科太多,计算语言学的理论研究还相当薄弱,另一方面,与科技发展息息相关的计算语言学不容过多地沉醉于理论探索。计算语言学的强大发展动力植根于鲜明的应用性,必须通过实践推动理论探索。

三、语言系统的计算机模式化要求

从语言学家的立场出发,语言系统的计算机模式化要求,就是要了解计算机需要怎样的语言描写成果,传统语言学(此处指非面向语言信息处理的语言学)的研究是经验描写解释型,而计算语言学的研究是实验操作技术型,自然语言系统要能进行操作技术化处理,首先必须实现语言的计算机模式化。冯志伟(1999,p.215)认为自然语言处理一般应经过三个过程:1.形式化,将所研究的自然语言问题以一定的数学形式表示出来;2.算法化,把自然语言的数学形式转换为算法形式;3.程序化,根据自然语言的算法形式编写计算机程序。侯敏(1999,p.30)认为语言系统的形式化或计算机模式化必须满足三个要求:1.高度抽象化,即从语言现象中抽象出一般规则;2.元语言的形式化,即采取形式逻辑、数学公式、程序语言等形式语言作为元语言;3.运用过程的严密化,即运用过程必须具有数学与逻辑的严密性。

袁毓林(1993)认为形式语言至少具有三个特点:基本单元的明确性、基本运算和基本关系的明确性、运算优先级别的明确性,但是自然语言在这三方面皆不明确。具体而言,1.语法范畴的边界不明,例如语素、词和词组之间、词类之间的界限不明;2.结构关系难以定义,通常所说的结构关系,如主谓、动宾等往往很难明确界定;3.层次关系不外显,人们通常根据语感和语境等来识别结构层次。侯敏(1999,p.36—40)不赞同这种分析,针锋相对地提出:1.可以根据实际需要或应用目的来确立词项或划分词类;2.结构关系分析需要深入到语义平面;3.形式语法已经给出了体现层次的结构树,在分析歧义结构中可加入语义限制,至于有些连人都解决不了的层次歧义结构也不必要求计算机解决。侯敏的观点是“理论追求的是完美,工程追求的是适用”,避开理论困难而采取工程方法,可以建立一个语言分析的近似模型。

所谓“语法范畴的边界不明”,主要是因为这些“范畴”的设置从某种程度上肢解了语言事实;所谓“结构关系难以定义”,主要是因为这些“结构”难以反映语言的本质结构;而所谓“层次关系不外显”,恰恰是语言结构的特点之一。这些探索和争论,实际上反映了三个根本性的问题:1.汉语结构语法学中长期存在的一些困扰,不仅是套用西方语法学框架框范汉语事实所产生的龃龉,而且也是语形语法学自身无法克服的固有问题。几千年来的西方语形语法学研究之所以能够存在,就是因为人脑在发育过程中逐步自建构了与认知能力协同发展的语义结构网络,为语形语法规则提供了语义选择清单与路径。虽然这些语形语法规则在人际交流中可以使用,但是在语言能力的计算机移植中却顿时陷入困境,因为计算机不存在语义网络结构的自建构功能,缺少语义激活路径。根据语形语法规则,计算机造出来的符合自然语句标准的概率极低,多为与对象世界不存在一致性的随机词语串。2.计算语言学所要求的自然语言的形式化,是基于计算机运算模式的语言研究成果。移植进计算机的“定域受限语言系统”和自然语言系统并不完全相等,严格说来,只是一种接近自然语言的计算机模式化符号系统。3.计算语言学的理论和方法,必须建立在语言的本质共性语义性和和计算机数字化运算模式的基础之上。如果对人类语言的认知语义性没有足够的认识,依然安居于语形语法窠臼而迟迟未能建构语义结构网络,语言信息处理的目标则不可能实现。

中国信息科学界有一种看法,计算机对于形态结构的印欧语言处理具有良好的支撑能力,而对中文信息处理则不然(陈力为2000)。之所以计算机对印欧语文信息处理具有良好的支撑能力,是因为印欧语文结构类型便于建立计算机处理模型。从历史上来看,谷登堡印刷术和打字机键盘都是基于字母的简约性而发明的。一方面,字母系统的符号简约性便于进行数据化处理,汉字符号的繁复性难以进行数据化处理;另一方面,印欧语的形态变化为形式化提供了识别标志,而汉语的孤立结构却没有明显的标志。依据现在的计算机处理模型,汉字的繁复性和汉语的非形态性必然导致中文信息处理中存在一些特殊问题:1.中文信息处理的第一个“瓶颈”。汉语的常用汉字数量繁多,汉字需要解决键盘输入、内部代码、汉字识别和显示、程序语言的数据类型、数据库的排序和检索等一系列问题。2.中文信息处理的第二个“瓶颈”。印欧书面语采取词分写形式,而汉语书面语采取单字连写形式。由于采用西方词法学框架,因此必须研制自动分词技术。假定考虑以“字”和“字义块”等作为汉语的结构单位,自动分词技术将相应改为“字义块”切分技术。3.印欧语的同音词较少,而汉语的同音字较多,同义词和量词也十分丰富,这些都给中文信息处理带来必须解决的难题。4.印欧语可以借助实词的形态变化即在词法层面上进行处理,汉语只有在句法和语义层面上进行处理,需要把语序和虚字的语法信息归纳出来再让计算机掌握。5.印欧语的句子结构是以动词性词语为核心的“主—谓”结构,而汉语的句子结构是以体词性词语为核心的“话题—说明”结构。印欧语的句子结构划一而句界分明,汉语的句子结构多样、成分缺省并且前后句义缠绵。

如果说语言系统是一座“冰山”,那么以上这些语言信息处理中遇到的难题还都是语言系统浮在海水上面的那一小部分,真正的障碍是隐没在海水下面的那一大部分。无论哪一种结构类型的自然语言系统的计算机模拟,包括形态语言,迟早会无可避免地碰撞上坚硬实在而又难以捉摸的“语义结构”。语言研究需要敢于在冰海下持续探索“语义结构”的潜水员。从自然语言系统来说,要让计算机理解语言通常认为必须使电脑能够解决三个问题:1.消除自然语言的一词多义;2.揭示自然语言的潜在意义;3.掌握自然语言的联想推理。这些问题都离不开语义分析,而语义分析技术尚处于探索阶段。(侯敏1999,p.247)对于第一个问题,一词多义可给出不同义项的清单。对于第二个问题,给出每一义项的显性和潜性语义特征清单。对于第三个问题,给出义项或义场之间的语义关联模式。由此可见,必须在以往的经验语感法和先验演绎法基础上,引进实验归纳法和结构优化法,消除语义“泥潭”情结,潜心于冰海中的语义“冰山”,才能逐步建构造语义结构网络。

就世界各种语言来说,语言的计算机理解的深层次难点可能还在于:1.至今尚未揭示出人类理解语言的机制,计算机只能局部模拟自然语言理解的某些简单过程;2.至今尚未完成人类理解语言所凭借的知识系统,建立人类进行语言表达的完整理论,计算机尚无从掌握人类语言的知识系统以及语言表达机制;3.至今尚未对人类语言所兼具的规则性和离散性、精确性和模糊性做出定量和定性的系统分析,计算机尚无从掌握语言系统的复杂性和语言使用的随机性。(傅永和1999,p.238—239)既然语言的理解和表达是一个以知识系统为基础的综合性行为,因此语言系统的计算机模拟必须进行跨学科的研究,特别需要语言学、计算机科学、数学和认知科学以及百科知识学者的合作。与侧重于面对自然人语言学习的语形语法学不同,如果面向语言信息处理,那么就需要以计算机智能模式来重新确定语言学的理论基础、研究重点和研究方法。

面向自然语言处理的计算语言学理论基础,目前主要有基于语言规则性的理性主义理论(即先验主义)和基于语言随机性的经验主义理论。依据理性主义的语言学理论主要有:短语结构语法(psg)、扩充转移网络(atn)、配价语法(vg)、格语法(cg)、范畴语法(cg)、概念从属理论(cd)、多叉多标记树形图分析法(mmt)、词汇功能语法(lfg)和蒙塔古语法(mg)等。这些理论和方法,因为从“理性”出发,因此不可能反映以感受性为基础的自然语言的真实面貌,其缺失已经日益明显。为了克服理性主义理论的不足,采取经验主义理论处理大规模真实文本的语料库语言学应运而生。在收集语言资源或建立语料库的基础上,运用统计方法进行语言信息处理,语言交际过程的随机性由此得到关注。面对传统语形语法学对自然语言过程的不相适应和语义研究的复杂性,甚至有人尝试撇开语言学家的语言研究,以借助语料库逐步实现自然语言系统模拟。虽然借助语料库可以解决语言信息处理的一些问题,但是仅仅依赖语料库实现自然语言系统模拟注定此路不通。因为自然语言不是一个语料仓库,而是一个语义和语形复合性结构系统。无论是理性主义还是经验主义,都必须意识到:语言信息处理中所处理的是定域受限语言。这一研究的理论基础既不应是纯粹基于语言规则性的理性主义,也不应是完全依赖语言随机性的经验主义,而应是突出语言受限性的实验主义。世界语言学的发展经历了从经验科学到先验科学的漫长过程,计算机的发明必将促使当代语言学成为一门实验科学。强调计算语言学的实验主义,并非一概否定理性主义和经验主义,而是要在实验主义的基础上运用理性和经验的理论方法。

自然语言处理的语言理论,目前主要有基于语形的语言理解系统和基于语义的语言理解系统。前者是以语形语法研究的成果为出发点,从句法形式入手;后者是以语义研究的成果为出发点,从语义关系入手。两种理解系统在文本输入、预处理和自动分词等早期环节上基本相同,不同的是基于语形的理解系统先进行词法和句法分析,后进行语义和语用分析,基于语义的理解系统先进行语义分析和语义结构生成,后进行目标语的形式组合。生成语义学认为句子的句法特点取决于语义,语义部分才具有生成能力。认知语义学把意义看作一个植根于知识网络和信仰系统中的认知结构,理解一个语言形式的意义必须激发相关认知领域中的其他认知结构。既然语形结构只是语义结构的表层投影,既然基于语义的理解系统才符合语言的生成机制,既然语义处理才是语言信息处理的关键,那么只有基于语义的理解系统才能满足计算机对自然语言的理解和生成。

李葆嘉:论语言科学与语言技术(下)

四、人脑语言和电脑语言的性质异同

根据与“人脑语言学”的对应关系,计算语言学也可以称之为“电脑语言学”。从人脑角度出发,电脑语言学的研究是将人脑语言系统移植电脑工具的电子工程;从电脑角度出发,电脑语言学是电脑程序模拟人脑语言能力的仿生工程。

不管是系统移植还是能力仿生,首先必须认识到人脑和电脑的异同。1.构造机制的不同:人脑是生物神经系统,具有生物认知机制,而电脑是电子计算系统,具有电子运算程序。2.伴随情感的有无:人脑具有驱动感觉、思维和表达进行的情感性,而电脑只具有执行程序运算的机械性。3.经验基础的有无:人脑具有以感受性为特征的经验基础以及知识系统,而电脑即使配备了一定的知识背景,也不可能具有人脑一样的认知经验基础。4.认知理性的异同:人脑的感受和认知可以区别为非语言层次和语言符号层次,非语言层次包括直觉和感觉,语言符号层次包括知觉(游移性印象)、象觉(清晰性意象)和统觉(逻辑性抽象)。电脑的认知理性只能够定位于语言符号的象觉和统觉层次,难以具备丰富的认知层级系统。5.交流对象的异同:人脑的交流对象分别为对象世界和人际关系之间,具有交流的二重性;而电脑的交流对象只有执行程序的人或“人—机对话”的一重性,所谓“机—机对话”的实质仍然是“人—机对话”的连网,互联网交流仍然是执行者之间的交流。由于计算机永远不可能直接认知人所面对的对象世界,必须以人类的认知为中介,因此计算机永远不可能超越人类的智慧,计算机统治人类世界永远是一种不必要的担忧。

其次,必须认识人脑语言系统和电脑语言系统的差别。人脑语法或自然语言法则是在历史上逐步形成的,具有随机性、规约性、类推性和耗散性特点;而电脑语法或机用语言法则只是自然语法的再抽象化和再规范化,具有受限性、是否性、程序性和封闭性的特点。即使将来研究出适合于语言信息处理的机用语法,也不等同于自然语法。电脑所能获得的语言能力,只是自然语言的一部分或有限语言能力。因此,移植进电脑的语言系统必须进行界定:1.定域化语言:因为人脑语言是一个可以分为不同语域的复合性层级系统,所以必须首先确定电脑语言与人脑语言的对应层级,最佳选择就是规范性的日常语域。2.受限化语言:只能采取有限网络模式,才能将自然语言裁剪成适合计算机运算模式的机用语言。3.形式化语言:必须将定域受限语言的语义结构和语形规则分别形式化。4.算法化语言:借助一定的数学模型,将形式化语义和语形系统数字化。5.编程化语言:依据一定的程序语言,将数字化语义和语形系统编程化。

语言信息处理的目标,就是在受限性语言层面上逐步实现人—机对话。归根结底,自然语法≠电脑语法,电脑语言系统是通过建立形式化的计算模型进行处理的定域自然语言系统。电脑的运算速度可以远远超过人脑的思维速度,但是电脑不可能具备人的能动性认知行为。语形语法学面对是人—人对话,人们在语言习得过程中不知不觉地形成了建立在认知能力之上的语义结构网络,为语形语法规则提供了一份语义可选性清单。语言信息处理面对的是人—机对话,而语言“白板”的计算机并不具备这份语义可选性清单。语形语法规则,在教计算机如何说话的过程中顿时陷入困境。几千年来的西方语法学之所以能够延续下来,全赖人们具有基于认知能力的语义结构网络的自建构功能。反之,正是这一语义结构网络的存在,致使以往的语言学家误以为语形语法就是语法的全部或主要,而将语义结构法则长期放逐出语法学领域。

自然语言系统的计算机处理对西方具有两千多年传统的语形语法学提出了根本性的挑战,也为东西方语言学的合流带来了新的契机。回顾20世纪东西方语言学合流的历程,之所以出现西方语法学框架和汉语事实的错位,是因为合流基点的选择陷入误区。西语具有丰富的语形结构(这里指形态变化)而汉语基本没有(汉语主要依靠语序、虚词、韵律和语气,另外对语境或语用具有极大依赖性)。选择建立在形态变化基础上的西方语法学框架作为合流的基点,必然导致这一过程的曲折。反思的结果显示,东西方语言学合流的基点应当是建立在人类语言所共有的语义结构基础上的语义语法学理论。随着对语言能力研究的进一步深入和语言信息处理对传统语言学的挑战,传统语义研究在新的形势下得以复活。随着世界语言学从20世纪60年代以来出现了从语形研究向语义研究的转移,东西方语言学研究的合流将在新的基点上逐步实现。

五、面向语言系统模拟的语义语法学

尽管乔姆斯基理论认识到语言形式化的重要性,但生成语义学才是语言研究本体的转向。虽然配价语法和格语法的引进和对汉语语法意合性的认定,促使语义句法研究成为当代中国语法学界的热点,但迄今为止,中文信息处理应用系统自觉而全面地运用语义研究成果的鲜见。这一现状的表象似乎是语义研究成果不多,其根源却在于没有彻底认识到——必须从人类(不限于印欧族群)普通(不限于欧洲唯理主义)语法(不限于形态语言)的高度,来解决语言理论和研究方法的创新。无论是语言信息处理,还是语言机制揭示,汉语研究都需要既能反映汉语个性又植根于人类语言共性的原创理论。

人类的认知表现为对象世界的符号化(认知对象的符号化形成语义单元)、范畴化(语义单元的范畴化形成语义类别)和关联化(语义类别的关联化形成语义结构)。西方语言中的词法范畴原型是先民通过语音形式所表现出来的认知范畴或语义类别。语言的形态标记性、单位分布性和结构层次性都是语义类别关联化在表达层面的投影或者制约。一方面,随着人们认知的发展,反映原始认知足迹的形态范畴(如原始生物观的“性”、原始计算法的“数”)的价值日益消解;另一方面,随着语言系统的演化,表现原始认知足迹的语法手段又不可避免地合并、弱化和丧失。语序、功能词等手段的补偿,导致语言结构类型从综合型向分析型方向嬗变。这一过程证明,原始词法范畴在句法结构中并不具有充分必要性。一种语言可以没有词法形态变化,但不可能没有语义结构规则。不同的自然语言之间之所以可能互译,其基础就是存在可互通性语义,尽管结构类型迥然不同。(李葆嘉2001)

由此可见,人类语言的本质属性是语义性,其他属性都是语义性的派生。人类语言的共性可以概括为:在人类感知对象世界的过程中,神经机制依据象似性模式促使对象世界语符化,音义一体化的语符具有实体性和范畴性,由此组成的语义结构具有语境性和关联性,语义结构的语境性表现为语用、语义结构的关联性投影为语形,而语义结构模式具有生成性。图示如下:

神经机制语义实体语境-语用性

象似性认知过程语符语义结构生成性

对象世界语音范畴关联-语形性

在自然语言能力移植工程中,计算机需要的是具有语言本质共性的语义结构网络,由此有必要首先建构语义语法学。所谓“语义语法学”不是“语义+语法的学”,而是以语义为研究对象的语法学。把语义结构的表层投影——语形作为语法研究的纯正对象,有悖于语言结构的真实本体。乔姆斯基试图在语形结构进行数理化描写的基础上,建构反映语言能力的生成语法体系势必捉襟见肘。这一初始思路必然导致“抛开语义——深层语义——语义解释——逻辑表达——逻辑式”这样的“不断革命”。虽然乔姆斯基强调语言研究的目的在于揭示语言天赋,但依据其理论思路:普遍语法(研究对象)——语言能力(哲学基础)——自然主义(学科性质)——数学方法(方法借鉴)——符号描写(形式载体)——形式语法(研究成果),显然缺少人类天赋中最关键的认知性语义能力这一环节。完全排斥语义的经典理论阶段,其句法结构规则必然导致生成出一批语言事实中并不存在的语符串。即使在不得不引进语义解释的标准理论阶段,也没有放弃把形式结构作为句法生成的基础规则。然而,任何脱离语义的语法形式化注定流产,不可能达到揭示语言生成机制或普遍语法的目标。

如果说语义语法学的语言观强调人类语言的本质共性是语义性,那么语义语法学的语法观则突出语义结构是语法的主要研究对象。在欧洲传统语文学中,“语法”主要指基于形态变化的词法和句法规则。在历史比较语言学时代,“语法”包括语音法则,因此才有“青年语法学派”之称。20世纪的结构主义和描写主义促使“语法”研究的对象日益窄化。依据语言是音义符号系统这一论断,所谓“语法”即语言结构之法,当包括语音结构法和语义结构法。在语言系统的第一次划分中没有通常所说的“语法”即语形结构法的位置。语形结构是语义结构的表层投射或制约,语形结构法依附于语义结构法。语言系统的音义二分以及相关研究学科,图示如下:

语音分析(生理语音学、物理语音学)

自然语音解析

语言(语音学)语音结构(音位系统学、语流节律学)

符号语形结构(语形语法学)

系统语义投影聚合性义场(词类)

(语义学)语义结构(语义语法学)

组合性义场(句模)

以往的“语音、词汇、语法”三分法,迷糊了研究者的视线。虽然语形语法研究在语言交际和语言教学中具有一定或者相当用途,但是从研究角度而言,却避开了关键的语义结构法则。

人类认知的本质是对世界图式的语义符号化,人所认识的世界就是存在于语言符号系统中的世界。语义结构网络表现为“实体范畴化”(聚合性义场)和“关系模式化”(组合性义场)的相互交错。广义语义不仅包括实体范畴化的词汇语义和关系模式化的结构语义,而且包括语境范畴化的语用语义。语法的真实本体或语法研究的切实对象应当是语义范畴及其关联模式。结构语法和生成语言的不同之处,在于前者强调“语言系统”,而后者强调“语言能力”,但其共通之处却在于皆以语义结构的虚象——语形作为研究实相,始终游离于语法真实本体之外。依据语形语法学的有限范畴和简略框架(词类划分、语形成分、短语结构、句子成分等),既难以深入分析句法结构,更不可能有效驾驭语言结构的生成机制。从表达来说,语义编码是一切语言编码的基础,要揭示语言的奥秘必须从语义入手。语形型语言(并非只有语形,而是语形隐含或遮蔽了语义语法)和语义型语言(并非没有语法,而是没有形态变化语法)的研究基础,都应是语符的语义性。语义语法学的语法观突出语义结构,表面上突出汉语的个性特征,实质上受制于人类语言的本质共性。关于语形型语言和语义型语言的大致异同,图示如下:

语形型语言:形态手段

语义范畴——语义网络(知识世界)——元语言(日常认知)

语义型语言:非形态手段公务员之家版权所有

人类的语言符号系统,本质上是一个意义隐喻系统。作为人类认知基本能力的隐喻,其更深层次是源于动物性感受的模仿(基于事物的相似性)与借代(基于事物的相关性)这两种认知能力。关于语言符号系统的形成大致流程,图示如下:

神经机制情绪模式

认知机制具体感受元语言(日常认知)——语义网络(知识世界)

对象世界经验框架

西方语法学源于古希腊的“语言·哲学·逻辑”混沌母体,西方哲人的逻辑研究基于思辩性语言活动。因为逻辑的基本单位是概念和命题,因此人们往往把注重语义的语法研究混同于逻辑的研究。汉语实词的义类划分不是根据逻辑意义,而是借助日常语义;汉语句读之间的语法关系不是根据逻辑关系,而是遵循事理关系。虽然逻辑规则是语法规则的部分再抽象化,但泛逻辑主义却致使人们误以为语法规则都可以逻辑化。自然语言首先具有本能传情性和日常认知性,语言结构法则主要依据广泛存在于日常生活中的事理关系。这一事理关系包括:时序先后性、空间位置性、主观因果性、主观目的性和评估好恶性等等。不是日常语法以思辩逻辑为基础,而是思辩逻辑以日常语法为基础。同样,虽然可以借用数理符号转写具有算法性的语言结构法则,但不可把语言法则混同于数理逻辑规则。

语义语法学的技术路线,是从建构现代汉语元语言系统到建构现代汉语语义网络。虽然自然语言信息处理依赖于语义结构的形式化,但是一些语言学家往往视语义研究成果为“非语法”,并且对其形式化的可能性持怀疑态度。一方面语义单元不具备语形变化的显著标记,而包含较多的意会性;另一方面语义单元并非没有范畴标准,也具有感受或认知的一致性。所谓语义的客观性和主观性就是语义的集体认同性和个人联想性,其本质是个体使用的“素单位”和集体认同的“位单位”之间的矛盾。语义语法学的研究对象首先是具有集体认同性的“义位”(标准体),然后才有可能是仅具个人使用性的“义素”(义位变体)。尽管语义单元或语元数量众多,语义结构关系复杂,但它们以潜在的元语言系统为基础。语义结构网络由语元实体和语义关系组成。同类语元之间具有聚合性语义关系,异类语元之间具有组合性语义关系。换而言之,每一语元都具有两种互相制约着的语义关系,一是同一义场内的各个“义位”之间的“义征”(语义特征)异同,一是不同义场的“义位”之间的“义联”(语义关联)异同。由此,可以依据义征和义联的异同而建立聚合性义位系统和组合性义联系统,在两者基础上在编织语义结构网络。句法结构的形式化应当是语义结构的形式化,而语义结构的形式化就是义场关联模式。

现代汉语语义语法的基础研究是建立“现代汉语元语言系统”,这一研究可比喻为“语言基因图谱分析工程”。其研究思路是:首先归纳出现代汉语词典中用于释义的最低限量词汇,以建构释义元语言系统;其次依据日常语言交际和语言教学中的用词,参照释义元语言以建立词汇元语言系统;再次抽象出义征范畴以建立析义元语言系统,完成语义标记集。在以上成果基础上,一方面可以结合认知心理学和神经语言学的成果进一步研究认知元语言系统,另一方面可以依据语言信息处理的要求,建立机用元语言系统。(李葆嘉等2002)

在现代汉语元语言系统这一基础性工作完成以后,才可以逐步建构现代汉语语义结构网络。研究程序和主要方法大致如下:1.义征对比法。依据有限网络模型,借助析义元语言系统对义元进行形式化描写即标注义征。给出义元在义场内的语义特征,其目标是建构聚合性义场。2.义联配比法。依据有限网络模式,对语义符号的配比关系进行形式化描写即标注义联,在分析和描写过程中归纳出关联性元语言系统和语义结构关联框架。语义句法的本质是相关义场之间的配比,因此义联标记体现着义场配比。给出义场之间的语义选择或语义制约规则,其目标是建立组合性义场。3.语形标记法。汉语具有词序、虚词和韵律等形式手段。韵律手段属于语音句法,可姑且不论。汉语的语形大致可以概括为两种:附着在词或词组上的词语级语形是完构成分;附着在句干上的句子级语形是完句成分。在进行汉语语形范畴化研究的同时,寻找语义关联和语形成分之间的对应性,然后对语形系统进行层级性形式化描写。4.合成建构法。在义征、义联和语形研究成果的基础上,通过相关标记的合成以建构语义结构句模系统。

“语言能力移植工程”的语言学部分主要是语义结构网络研究。通过建立形式化的计算模型,可以将语义结构网络进一步形式化、算法化和程序化。语义语法系统研究的每一结果,都可以也应当用计算机操作作为验证。以往的语法学研究,除了执著于语形研究以外,还有一个根本性的缺憾,就是不具备自然科学研究中的实验手段,因此难免经验性、臆断性和游移性等。采取计算机作为研究和验证手段,从而使语法研究具有鲜明的技术性和可证伪性。人们常说,只有学会一门外语,人们才真正了解自己的母语。与此同理,只有计算机掌握了自然语言,人类才深入揭示出自然语言的奥秘。换而言之,根据语言学习对象的不同,可能存在三种教学语法:一种是母语教学语法(着重于语形语法,因为人类对语义结构网络和语言知识库具有自建构能力),一种是对外语言教学语法(需要在语形语法的基础上增加与语言理解相关的社会文化知识,因为不同语言的语义结构网络具有不同的文化性),一种是计算机模拟语言能力的语法(需要语义语法和语言知识库,因为计算机不具备语义结构网络自建构能力以及与语言理解相关的知识系统的自学习能力)。也只有揭示出语义结构网络,语法学研究才能够在语形语法研究的基础上取得全面突破,语法形式、语形语法意义和语义语法意义,才能够全面贯通。

尽管语义研究及其形式化相当困难,但是在语义语法学理论的指导下,根据定域(语言定域)、定量(词语定量)、定性(义元定性)、定式(义联定式)的“四定”原则逐层实施,自然语言的理解与生成有可能在单句模式系统中首先实现。只要对语言本质的探索和人脑语言移植电脑的目标不变,就必须穿越语义研究的沼泽地。如果说20世纪是语形语法学的世纪,那么可以预言21世纪将是语义语法学的世纪。

六、语言科技复合型人才的培养

自然语言的计算机理解和生成已经成为国际语言学研究的聚焦,语言信息处理的技术水平已经成为当前衡量一个国家现代化水平的重要标志之一,尽快培养兼通语言学、计算机科学、数学和认知科学的复合型人才迫在眉睫。据《美国计算语言学杂志》1986年统计,全球设置计算语言学博士学位的大学已有105所,其中美国63所。在英国曼彻斯特大学已有计算语言学的学士和硕士专业。(侯敏1999,p.27)

中国的机器翻译在20世纪50年代启动,但由于反复不断的政治动乱停滞了近20年。1981年,成立了中文信息学会。1987年,隶属于中文信息学会的计算语言学专业委员会成立。通过计算机专家和语言学家的努力,已经取得语言信息处理的一系列成果。但迄今为止,中国大陆计算语言学方向的研究生的培养,或附属在汉语言文字学、语言学及应用语言学学位点,或附属在计算机应用等学位点,专门性的本科专业迄今尚无设置。根据目前中国高等教育学科体系,一方面,语言学和计算机科学分属不同专业,兼通语言学和计算机科学人才的培养如隔重山;另一方面,“中国语言文学”学科中,作为学术或准科学的“语言学”在前而作为艺术或教化工具的“文学”为重,两者始终捏而不合。

依据南京师范大学文学院的发展规划,2001年4月成立了语言科技研究所,6月成立了语言科学及技术系,现在正在建设一个包括教学功能、科研功能、开发功能和交流功能的语言科技实验中心。在现有专业目录内增设的汉语言专业,以“语言科技”为特色,课程设置以语言学、计算机科学、数学和认知科学为四大学科支柱,2002年开始招收首届中文信息处理方向的本科生。这一举措,为多年来倡导的文理工学科渗透,找到了一个准确的切入口。语言科技专业的培养目标是:立足当代语言科技领域,放眼未来相关科技前沿,以语言学与相关学科相的结合为导向,培养有利于促进21世纪科技进步和社会发展的复合型创新人才。通过坚持不懈的努力,南京师范大学语言学学科点拟在三五年内完善“本科生——研究生——博士后”的多层次人才培养体系,建构“教育性——科研性——开发性”的综合型高等教育基地。

面对信息科技对当代语言学的挑战,“语言科技”新思维应运而生。这是一个可以在描写语言学、理论语言学和计算语言学之间,可以在语言学和相关学科之间,充分发挥沟通作用并引发许多思考的新概念。依据这一新思维,首先建构了面向语言工程的语义语法学理论,并进一步将这一工程具体化为“语言基因图谱分析工程”和“语言能力移植工程”。当代信息科技的发展趋势表明,研究对象的语义性和研究过程及其成果的技术化将成为21世纪的语言学精神。