Spark_RDD的持久化
发布日期：2021-05-04 13:33:16
浏览次数：52
分类：技术文章
本文共 227 字，大约阅读时间需要 1 分钟。
RDD的持久化方法：cache() 或者 persist()
做实验：
同一个160M文件进行计算它的行数： 文件小的时候没有差距，文件大的时候差距很明显
第一次计算两次（未持久化）：时间差不多
第二次计算两次（持久化）：时间第一次长，第二次却很短 这是因为第一次的时候进行持久化，而第二次的时候已经持久化过了直接计算就好了。两个方法默认都为（持久化到内存）：
其它的序列化方式：
序列化的选择优先：
为什么不用DISK ？
因为重新计算都比从新读快！发表评论
最新留言
很好
[***.229.124.182]2025年03月22日 01时39分32秒
关于作者
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
-- 愿君每日到此一游！
推荐文章
fpga工程师笔试题
2019-03-01
1144. The Missing Number (20)
2019-03-01
为什么阿里巴巴不建议在for循环中使用”+”进行字符串拼接
2019-03-01
tp5.1 页面错误！请稍后再试～ 安装好后，提示错误
2019-03-01
禁止重复提交(JavaScript控制表单…
2019-03-01
php js 通过sotitle(id,arr)函数输入ID取得返回值
2019-03-01
删除外键约束
2019-03-01
c++ 预处理命令 #error 用法
2019-03-01
Qt Creator编码
2019-03-01
Linux部署sendmail邮件服务器
2019-03-01
MyBatis5_动态SQL
2019-03-01
《软件方法》第1章 建模和UML
2019-03-01
ubuntu非root用户如何访问vmware共享文件夹
2019-03-01
图解HTTP (chap4 Http状态码) 5XX
2019-03-01
【今日CV 计算机视觉论文速览 第97期】Tue, 9 Apr 2019
2019-03-01
庄子：谁知南华秋水意？
2019-03-01
Thread.sleep() 和 Thread.yield() 区别
2019-03-01
Kotlin 简单优雅的高阶函数
2019-03-01
UML类图关系（泛化 、继承、实现、依赖、关联、聚合、组合）
2019-03-01
第1讲 快速入门 《Kotlin 极简教程 》
2019-03-01
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 453416646 位访客