Spark - 伪分布式,配置文件
发布日期:2021-06-30 19:50:36
浏览次数:2
分类:技术文章
本文共 1113 字,大约阅读时间需要 3 分钟。
1. hadoop
1.1 hadoop-env.sh
配置JAVA_HOME
1.2 core-site.xml
hadoop.tmp.dir file:{} Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
1.3 hdfs-site.xml
dfs.replication 1 dfs.namenode.name.dir file:{}tmp/dfs/name dfs.datanode.data.dir file:{}tmp/dfs/data
2. spark
2.1 spark-env.sh
JAVA_HOME
2.2 spark-defaults.conf
spark.local.dir
3. .profile
JAVA_HOME=/home/peerslee/opt/jdkSCALA_HOME=/home/peerslee/opt/scalaHADOOP_HOME=/home/peerslee/opt/hadoopSPARK_HOME=/home/peerslee/opt/spark-hadoopPATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATHexport HADOOP_HOME SCALA_HOME JAVA_HOME PATH
转载地址:https://lipenglin.blog.csdn.net/article/details/60966516 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年04月16日 17时50分14秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
字体图标库(Font Awesome)的使用--绝佳的图标字体库和CSS框架
2019-04-30
select下拉框分组展示插件的使用--(select-mania插件的使用)
2019-04-30
Java 8新特性之--lambda表达式的使用和应用
2019-04-30
Java Lambda表达式的应用--Stream API操作集合框架
2019-04-30
省市区三级联动插件Distpicker--前端实现地区三级联动
2019-04-30
solr的使用详解
2019-04-30
Myslq连接(JDBC)url属性的参数的设置
2019-04-30
关于Java继承,重载及运行的顺序的总结
2019-04-30
关于Spring MVC与前端的交互
2019-04-30
Mybatis逆向工程的使用
2019-04-30
关于Hibernate的优缺点
2019-04-30
常用的 Maven 命令
2019-04-30
常用的20个正则表达式
2019-04-30
数据结构之顺序表的实现
2019-04-30
数据结构之线性链表
2019-04-30
JQuery使用validate插件完成校验
2019-04-30
关于java的继承
2019-04-30
关于java的内部类
2019-04-30
关于java的枚举
2019-04-30