手机知网 App
24小时专家级知识服务
打 开
手机知网|搜索

汉语词法分析中上文和下文孰重孰轻

于江德;王希杰;樊孝忠

  汉语诃法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质都是把词法分析过程看作序列数据标注问题。上下文是统计语言学中获取语言知以和解决自然语言处理中多种实际应用问题必须依靠的资源和基础。汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要呢?为克服仅凭主观经验给出猜测结果的不足,我们对汉语词法分析的分词、词性标注、命名实体识别这三项子任务进行了深入研究,对比了上文和下文对各个任务性能的影响,在国际汉语语言处理评测Bakeoff多种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,上文和下文对汉语分词和中文命名实体识别性能的影响差别较大,对汉语词性标注的性能影响差别较小。……