Spark SQL parquet-json-jdbc访问
发布日期:2021-08-31 01:31:27 浏览次数:2 分类:技术文章

本文共 979 字,大约阅读时间需要 3 分钟。

hot3.png

Spark SQL Json文件存储-------------------------------------------df.write.json("file://home/centos/json")val df = spark.read.json("file://home/centos/json")parquet:文件格式-------------------------------------------df.write.parquet("file://home/centos/json")val df = spark.read.parquet("file://home/centos/json")jdbc交换外部数据源-------------------------------------------//1.	val df = spark.read.format("jdbc").option("url", "jdbc:mysql://192.168.231.1:3306/big5").option("dbtable", "customers").option("user", "root").option("password", "root").load()	//2.	val prop = new java.util.Properties()	prop.put("user", "root")	prop.put("password", "root")	prop.put("driver", "com.mysql.jdbc.Driver")	val df = spark.read.jdbc("jdbc:mysql://192.168.231.1:3306/big5", "customers", prop)	df.write.format("jdbc").option("url", "jdbc:mysql://192.168.231.1:3306/big5").option("dbtable", "customers").option("user", "root").option("password", "root").save()

转载于:https://my.oschina.net/hehongbo/blog/1554991

转载地址:https://blog.csdn.net/weixin_34056162/article/details/91945326 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Write operations are not allowed in read-only mode
下一篇:线程池不允许使用Executors去创建,而是通过ThreadPoolExecutor的方式

发表评论

最新留言

很好
[***.229.124.182]2024年03月06日 04时13分56秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

java blockingqueue源码_Java并发队列BlockingQueue实现之ArrayBlockingQueue源码分析 2019-04-21
Java前台显示近20天的东西_第十次课:前台首页设计及显示商品信息 2019-04-21
java开发web网站的路由设计_理解Web路由(浅谈前后端路由与前后端渲染) 2019-04-21
excel如何把顺序倒过来_在excel中怎么使文字颠倒顺序反过来显示呢? 2019-04-21
java 62进制 转换_序列号生成的另一种玩法--62进制如何玩? 2019-04-21
php正则表达式获取图片路径,php 常用正则表达式实例(图片地址,与指定内容获取)... 2019-04-21
脚本语言php是什么意思,PHP脚本语言 2019-04-21
matlab数学规划模型,数学规划模型 2019-04-21
视频提取音频php,如何提取视频中的音频,从视频文件中提取出音频输出成MP3格式... 2019-04-21
diy.php添加验证码,织梦dedecms自定义表单中加入验证码 2019-04-21
在php脚本中 通过可以获取,在PHP中,可以使用Unix时间戳获取精确的脚本执行时间。... 2019-04-21
s2-045 php exp,S2-045-EXP.py --Struts2任意代码执行漏洞 (S2-045,CVE-2017-5638) 2019-04-21
linux sdk 窗口句柄,Venus: 针对Linux平台上,对常用的系统API进行面向对象的封装SDK。... 2019-04-21
c语言程序设计 科学出版社习题答案,C语言程序设计(科学出版社)第4章 课后习题参考答案.doc... 2019-04-21
c语言 无错 但只运行一半,求哈夫曼编码时程序运行到一半就终止了,编译无错... 2019-04-21
deepin linux 2014安装,2014.2版本的Deepin虚拟机安装浅谈(就是深度Linux) 2019-04-21
android 限速工具,Android下载器之限速篇 2019-04-21
html刷新ajax实现原理,AJAX的原理—如何做到异步和局部刷新 2019-04-21
html中列表菜单加文字请选择,html中下拉菜单 2019-04-21
读书郎平板中android,读书郎学生平板电脑怎么用 使用方法详解【图文】 2019-04-21