【Spark 调优】Spark 开发调优的十大原则-白红宇的个人博客

发布日期：2021-05-08 01:13:08 浏览次数：32 分类：精选文章

本文共 217 字，大约阅读时间需要 1 分钟。

Spark的调优是面试或者笔试考察的重点：总结下

1.开发调优：

原则一：避免创建重复的RDD。

原则二：尽可能复用同一个RDD。

原则三：对多次使用的RDD进行持久化。

原则四：尽量避免使用shuffle类算子。

原则五：使用map-side预聚合的shuffle操作。

原则六：使用高性能的算子

原则七：广播大变量。

原则八：使用Kryo优化序列化性能。

原则九：优化数据结构。

原则十：对数据进行压缩。

原则十一：合并小文件。

上一篇：Java监听器，定时器

下一篇：web项目的项目结构解析

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！

淘宝WAP版小BUG分析 2021-05-09

asp.net打印网页后自动关闭网页【无需插件】 2021-05-09

【Maven】POM基本概念 2021-05-09

【设计模式】单例模式 2021-05-09

远程触发Jenkins的Pipeline任务的并发问题处理 2021-05-09

entity framework core在独立类库下执行迁移操作 2021-05-09

Asp.Net Core 2.1+的视图缓存(响应缓存) 2021-05-09

【wp】HWS计划2021硬件安全冬令营线上选拔赛 2021-05-09

Ef+T4模板实现代码快速生成器 2021-05-09

JQuery选择器 2021-05-09

多线程之volatile关键字 2021-05-09

2.2.2原码补码移码的作用 2021-05-09

Java面试题：Servlet是线程安全的吗？ 2021-05-09

Java集合总结系列2：Collection接口 2021-05-09

比技术还重要的事 2021-05-09

linux线程调度策略 2021-05-09

软中断和实时性 2021-05-09

Linux探测工具BCC(可观测性) 2021-05-09

白红宇的个人博客 - 记录点点滴滴的事 - 您是第 459581242 位访客