×

搜索引擎增量式搜集的实现与评测

消耗积分:3 | 格式:rar | 大小:121 | 2009-04-18

陆军航空兵

分享资料个

针对传统的周期性集中式搜索(Crawler)的弱点和增量式Crawler的难点，提出预测更新策略，给出判别网页更新的MD5算法、URL调度算法和URL缓存算法，描述系统各个模块的分布式构架的实现，建立测试集数据对算法进行评测。该系统在北大天网搜索引擎上运行半年多，更新周期缩短了20天，变化预测命中率达到79.4%，提高了时效性、扩展性和稳定性。
关键词：增量式搜集；网页变化预测；搜索引擎
下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !