微信号:iteblog_hadoop

介绍:每两天一篇关于Hadoop、Flume、Spark、Hbase、Hive、Zookeeper、Mapreduce、HDFS相关的技术博文,大数据技术博客:http://www.iteblog.com,或者Google\百度搜索 过往记忆

干货 | Apache Spark 2.0 作业优化技巧

2018-03-13 09:05 iteblog

本 PPT 来自 IBM,里面有大量针对 Spark 2.0 进行优化的技巧,其中包括:

1、如何给 Spark 作业分配内存及 CPU;

2、监控和训练 Spark Streaming 作业;

3、优化 RDD 的磁盘 IO 性能;

4、OOM 异常查找和处理;

5、GC 处理等;

值得 Spark 开发工程师一看。

PPT下载:https://www.iteblog.com/t.pdf 或 http://cdn.iteblog.com/t.pdf (点击下面阅读原文即可进入)

猜你喜欢

欢迎关注本公众号:iteblog_hadoop:

0、回复 电子书 获取 本站所有可下载的电子书

1、三种恢复 HDFS 上删除文件的方法

2、Apache Spark 2.3 重要特性介绍

3、盘点2017年晋升为Apache TLP的大数据相关项目

4、干货 | Spark SQL:过去,现在以及未来

5、Apache Spark 黑名单(Blacklist)机制介绍

6、Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上

7、Apache CarbonData里程碑式版本1.3发布,多个重要新特性

8、NodeManager节点自身健康状态检测机制

9、[干货]大规模数据处理的演变(2003-2017)

10、Apache Flink 1.3.0正式发布及其新功能介绍

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)
12、Flink中文文档:http://flink.iteblog.com


本博客微信小程序:

 
Hadoop技术博文 更多文章 那个年入100万的Hadoop架构师说,这样做你最少能涨薪10万 Apache Spark 2.3 重要特性介绍 Waterdrop:构建在Spark之上的简单高效数据处理系统 Apache CarbonData里程碑式版本1.3发布,多个重要新特性 做大数据的,怎么能不懂Flink和Druid?
猜您喜欢 让你真正明白spark streaming 一封来自Bob的密信 从英语小白到口语8级,他只用这一个方法! “伪球迷”速成教程:教你欧洲杯的正确打开方式