资料下载
×
基于Hadoop的Deep Web采集平台
消耗积分:1 |
格式:rar |
大小:0.80 MB |
2017-12-05
分享资料个
随着信息技术的发展，互联网信息资源变得越来越丰富，大数据技术的发展使得我们能够从互联网复杂的信息数据中获得相应的知识。这其中最基本的技术就是大数据采集技术，它使我们能够黹互联网数据快速采集下来并结构化存储。设计的基于Hadoop的可视化Deep Web采集平台是一种简弹易操作的高效深度采集平台，运用Webkit技术作为核心引擎实现可视化配置和深度采集功能，同时通过优化采集算法，调整Hadoop任务分配策略提升效率。实验结果表明，设计的数据采集平台获得了较好醛效果。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
