【信息处理用现代汉语分词规范的理论和实践调查报告史芬茹】.pdf

【信息处理用现代汉语分词规范的理论和实践调查报告史芬茹】.pdf

《信息处理用现代汉语分词规范》 的理论和实践调查报告 摘要 《信息处理用现代汉语分词规范》的制订在中文信息处理领域意 义重大。计算机处理汉语的瓶颈问题一一词的切分,在此基础上得到 初步解决。本文从理论和实践相结合的角度对《分词规范》进行调查 分析和验证,证实其理论体系严谨有据,在具体应用中也是基本可行 的.ABSTRACT Contemporary ChineseWord Segmentation StandardUsedfor Information Processing”is very important in Chinese information processing.引言 信息处理技术在我国现代化及信息化建设中,越来越起着重要的作用,而我们日常生 活工作中的信息、绝大部分是以语言、文字作为媒介,传播交换和记载的、因此随着计算 机的推广应用,由数据处理、信息处理发展到知识处理、对语言文字研究和处理的要求其 深度和广度越来越高,这一问题在西方国家比较容易解决,因为计算机从诞生之日开始,就是以处理西方语言为基础的。但在中国则不同。汉语中的许多问题,计算机都显得无能 为力.于是中文信息处理这种多学科和跨学科的研究工作应运而生,将计算机科学与语言 学密切结合起来:既依靠长期积累的语言学的研究成果,又根据计算机的特点对其进行改 造、深化、量化.评审会,逐字讨论第二稿.1988年6月2日至4日、在桂林召开第二次评审会,形成第四 稿:1988年10月8日至10日,在屯溪召开第三次评审会、讨论第四稿,建议通过实际使 用的检查、形成报批稿上报 两番验证则是1989年先由北语、北师大、北航对13万多字的语言材料进行分词验证 第一次完成后交换语料进行第二次验证、这次语料大约为11万字,分别由北京语言学院和 清华大学的专家进行了总结和比较 的思想结晶,它的出台经历了三年努力和认真的工作,大体上达到了报批为国家标准的要 求:严谨、稳定、实用、通用 3、《分词规范》的制订原则 《分词规范》的制订中需要处理许多矛盾.