机器词典中按韵分词及虚词问题

　　一、关于按韵分词的认识问题目前机器分词的主要倾向是能按韵分词的时候按韵分词(胡明扬2003,进明1997、孙茂松1999),以符合人们的语感,如果按韵分词出现不一致的情况,有两种方法:一是结合语法规则考虑;二是根据大规模语料库,计算它的频率,如果达到一定的值,则为分词单位。……