本文共 1225 字，大约阅读时间需要 4 分钟。

Win10下安装spark（本地模式）

相关软件及环境准备：

win10 需要提前安装anaconda java 环境：JDK1.8 版本 hadoop运行在windows环境的插件： hadoop-2.7.1（winutils-master） spark包：spark-2.4.4-bin-hadoop2.7

spark-2.4.4-bin-hadoop2.7 和winutils-master 下载

链接：https://pan.baidu.com/s/1BFy8xm5bcf-14AWu1nExDg&shfl=sharepset

提取码：mvkv

用到的环境变量

SPARK_HOME   C:\file\spark_package\spark-2.4.4-bin-hadoop2.7PYTHONPATH   C:\file\spark_package\spark-2.4.4-bin-hadoop2.7\pythonpip install py4j JAVA_HOME    C:\Program Files\Java\jdk1.8.0_162\bin

使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始。访问 http:// spark.apache.org/downloads.html， 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”（ 为 Hadoop 2.4 及更新版本预编译的版本），然后选择“Direct Download”直接下载

安装spark

把包解压到这个目录下

C:\file\spark_package\spark-2.4.4-bin-hadoop2.7 添加spark系统环境变量：

#添加spark环境变量SPARK_HOME 为 C:\file\spark_package\spark-2.4.4-bin-hadoop2.7Path添加 %SPARK_HOME%\bin

添加完环境变量后，可以打开一个cmd运行pyspark即可用spark使用 spark

安装配置hadoop

访问官方http://hadoop.apache.org/releases.html

或者百度云盘 解压到路径 C:\file\hadoop-2.7.1 2、配置

增加系统环境变量：

HADOOP_HOME C:\file\hadoop-2.7.1

在系统环境变量Path增加：%HADOOP_HOME%\bin

cd C:\file\spark_package\spark-2.4.4-bin-hadoop2.7

进入你的 Spark 目录然后输入： bin/pyspark 即可

或者启动cmd，输入 ： pyspark 也可进入

可参靠此篇文章：

https://www.cnblogs.com/momogua/p/9285930.html