资料下载
×
一种流式处理的异步图处理框架
消耗积分:3 |
格式:rar |
大小:1.15 MB |
2017-12-18
分享资料个
大图数据的处理与分析是近年来的热点研究问题，分布式图计算是目前处理大图数据的主流技术，但是存在诸多无法避免的问题。比如分布式计算的负载均衡和分布式实现的调试和优化仍然非常困难．另一方面。近几年的研究表明。通过设计合理的数据结构和处理模型，在单个PC上基于大容量磁盘的大图计算往往可以获得与分布式图计算相当的处理性能．本文结合累加迭代计算和单机并行处理技术，提出流式处理的异步计算模型ASP．它实现了对磁盘的完全顺序访问。允许流式的顺序载入结构数据的同时进行异步更新计算，基于ASP模型，我们提出了一种流式处理的异步图处理框架S-Maiter，实现了高效率的基于外存的单机大图处理。通过I/O线程优化、内存资源监控、shard级优先级调度等优化技术，大大提高了系统处理大图数据的性能．实验结果表明，在处理大图数据（1300万顶点。5亿连边）时，仅仅需要1台PC机计算资源的S-Maiter与在16台PC上运行的分布式Maiter的性能几乎相当．并且S-Maiter比另外一个流行的单机大图处理系统GraphChi怏1.5倍．
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
