本文共 1840 字，大约阅读时间需要 6 分钟。

Win10下安装Spark（本地模式）

环境准备

在安装Spark之前，需要先准备好相关的软件和环境。以下是需要安装的工具和环境：

• 操作系统：Win10
• 前置环境：需要提前安装Anaconda（推荐使用Mamba镜像）
• Java 环境：JDK 1.8（具体版本请参考Spark文档）
• Hadoop 环境：在Windows环境下运行Hadoop需要使用winutils-master插件（适用于Hadoop 2.7.1）
• Spark 包：选择Spark 2.4.4版本，对应Hadoop 2.7

Spark下载

Spark可以通过以下方式获取：

环境变量配置

在安装Spark之前，需要配置以下环境变量：

• SPARK_HOME：C:\file\spark_package\spark-2.4.4-bin-hadoop2.7
• PYTHONPATH：C:\file\spark_package\spark-2.4.4-bin-hadoop2.7\python
• pip install py4j：安装PySpark客户端
• JAVA_HOME：C:\Program Files\Java\jdk1.8.0_162\bin

安装Spark

1. 解压Spark包

将Spark包解压到以下路径：

C:\file\spark_package\spark-2.4.4-bin-hadoop2.7

2. 配置Spark环境变量

在系统环境变量中添加以下设置：

• SPARK_HOME：路径为 C:\file\spark_package\spark-2.4.4-bin-hadoop2.7
• Path：添加 %SPARK_HOME%\bin

3. 启动Spark

在命令提示符（cmd）中输入以下命令启动Spark：

pyspark

或者，如果需要在特定路径启动，可以在Spark目录中输入：

cd C:\file\spark_package\spark-2.4.4-bin-hadoop2.7bin/pyspark

安装配置Hadoop

1. 下载Hadoop

Hadoop可以通过以下方式获取：

2. 解压Hadoop

将Hadoop解压到以下路径：

C:\file\hadoop-2.7.1

3. 配置Hadoop环境变量

在系统环境变量中添加以下设置：

• HADOOP_HOME：路径为 C:\file\hadoop-2.7.1
• Path：添加 %HADOOP_HOME%\bin

4. 验证Hadoop

在命令提示符中输入以下命令验证Hadoop：

hadoop version

使用Spark

1. 启动Spark

在命令提示符中输入以下命令启动Spark：

pyspark

2. 运行Spark程序

在Spark Shell中输入以下命令运行Spark程序：

# 示例：运行一个简单的Spark程序from pyspark import SparkSessionspark = SparkSession.builder.master("local").appName("SparkExample").getOrCreate()df = spark.read.csv("file:///C:/data/file.csv")df.show()

3. 常用命令

• spark-submit：命令行提交Spark应用程序
• spark-shell：打开Spark Shell交互式界面
• pyspark：运行带有Python的Spark程序

注意事项

如果需要更多详细操作步骤，可以参考相关技术博客或Spark官方文档。