资料下载
×
参数对Spark应用影响的方法
消耗积分:0 |
格式:rar |
大小:0.53 MB |
2017-11-20
分享资料个
关于Spark性能的研究目前正在成为热点，但调优策略多位于应用层，而不是系统层。操作系统作为硬件之上的第一层软件，对硬件性能发挥起着根本作用。Linux内核提供了丰富的参数作为优化性能的接口，但实际中，这些参数的作用并没有得到充分发挥。人们更多是采用系统默认值，而不是根据具体环境进行调整。然而本文实验发现，系统默认值并不一定是最好的选择，有时甚至是最坏的。定义了“影响比”这一概念，并基于此概念提出了一种通过分析内核函数的执行情况来认识参数对Spark应用影响的方法。针对Spark内存计算的特点，从大页、NUMA这两个与使用内存紧密相关的方面分析了相关内核参数对几种典型Spark负载的性能影响，并由此得出一些结论。希望本文的分析和结论可以为Spark平台合理设置内核参数提供一些参考。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
