手机知网 App
24小时专家级知识服务
打 开
互联网技术
基于HTML标记和长句提取的网页去重算法
提出了一种高效的算法来去除互联网上的重复网页。该算法利用HTML标记过滤网页中的干扰信息,然后提取出能表征一张网页的长句作为网页的特征。通过分析两张网页所共享长句的数量,来判断两张网页是否重复。该算法还利用红黑树对网页的长句进行索引,从而把网页去重过程转换为一个搜索长句的过程,减小了算法的时间复杂度。实验结果表明该算法能够高效,准确地去除重复的网页。
领 域:
关键词:
格 式:
PDF原版;EPUB自适应版(需下载客户端)
手机阅读本文
下载APP 手机查看本文
微型电脑应用
2009年08期
相似文献
图书推荐
相关工具书

搜 索