×

一种新的网络爬虫带宽控制策略

消耗积分:3 | 格式:rar | 大小:177 | 2009-09-11

分享资料个

         网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题，但是目
前对这个方面的研究较少，本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略，通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制，得到了面向站点的爬行控制算法，最后实验证明这种方法能够充分利用所限定的带宽。
关键字：网络爬虫；限定带宽；礼貌爬行
下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !