当前位置:K88软件开发文章中心编程语言SQLSpark → 文章内容

Spark Streaming性能调优

减小字体 增大字体 作者:佚名  来源:网上搜集  发布时间:2019-1-19 4:50:31

由 ligaihe 创建,路飞 最后一次修改 2016-02-23 Spark Streaming性能调优集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:高效地利用集群资源减少批数据的处理时间设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度减少批数据的执行时间设置正确的批容量内存调优

Spark Streaming性能调优