资料下载
×
基于流水线负载平衡模型的并行爬虫研究
消耗积分:3 |
格式:rar |
大小:140 |
2009-03-31
分享资料个
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题，提出流水线负载平衡模型(PLB)，将不同的任务抽象为独立模块而达到各模块的处理速度相等，采用多线程的方式实现基于PLB的并行爬虫，根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。
关键词：爬虫；并行；流水线；负载平衡
关键词：爬虫；并行；流水线；负载平衡
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
