安装基本的开发环境

1. 从spark官网下载spark，如spark-2.3.0-bin-hadoop2.7.tgz，解压并配置环境变量：

   1. 增加SPARK_HOME
   2. PATH中加入%SPARK_HOME%\bin

2. 下载对应版本Scala，若不是安装版解压后需要配置环境变量，同第一步，安装成功后在命令行里应该可以启动scala shell。

3. 下载对应版本hadoop，如hadoop-2.7.5.tar.gz，解压并配置环境变量，同第一步。

4. 下载对应版本winutils.exe，放入%HADOOP_HOME%\bin目录。 下载地址： 。

   此时应该可以正常启动spark-shell。
   若使用spark.table("table")读取表出错，可能是因为在系统盘权限不足，切换目录重新运行spark-shell或执行以下语句：%HADOOP_HOME%\bin\winutils.exe chmod 777 tmp/hive 改变权限

5. 下载eclipse，解压，Help—>Eclipse Marketplace，搜索Scala IDE插件安装，重启eclipse。就可以新建Scala项目了。

6. 下载sbt，若不是安装版解压后需要配置环境变量，同第一步。

安装sbteclipse插件

修改sbt资源库.ivy2位置

%SBT_HOME%/conf/sbtopts里面进行配置（此步骤不用配置，因为用下面的修改即可起效）

-sbt-dir  d:/scala/sbt/sbt_0.13.17-sbt-boot d:/scala/sbt/.sbt/boot  -ivy d:/scala/sbt/.ivy2-sbt-version  0.13.17-scala-version 2.11.12

修改%SBT_HOME%/bin下sbt-launch.jar，用压缩打包软件打开，修改里面的sbt/sbt.boot.properties文件（修改前备份）。

[repositories]  local  local-preloaded-ivy: file:///${sbt.preloaded-${sbt.global.base-${user.home}/.sbt}/preloaded/}, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext]  local-preloaded: file:///${sbt.preloaded-${sbt.global.base-${user.home}/.sbt}/preloaded/}  maven-central  typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly  sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly  aliyun: http://maven.aliyun.com/nexus/content/groups/public/  sbt-maven-releases: http://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly  sbt-maven-snapshots: http://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly[boot]  directory: d:/scala/sbt/.sbt/boot/[ivy]  ivy-home: d:/scala/sbt/.ivy2  checksums: ${sbt.checksums-sha1,md5}  override-build-repos: ${sbt.override.build.repos-false}  repository-config: d:/scala/sbt/.sbt/repositories

安装sbteclipse插件

编辑（不存在则先新建）两个文件：

• ~/.sbt/1.0/plugins/plugins.sbt
• ~/.sbt/0.13/plugins/plugins.sbt

~表示C盘用户目录，注意此时就算更改了资源库位置也会在C盘用户目录生成.sbt文件夹，plugins.sbt放在此处

文件内容：

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4")

完成以上工作后：

1. 在eclipse里建立一个scala项目。

2. 打开cmd，cd到项目根目录下。

   也就是和build.sbt位于同一目录。

3. 执行sbt eclipse命令下载依赖

   下载完成后刷新eclipse项目就好了。

也可以在workplace里面新建立一个文件夹，在里面运行sbt eclipse，然后用eclipse导入项目，再修改下里面的scala版本（不用修改Java Build Path，直接修改Scala Compiler就好），加入source文件夹等（推荐这种方式）。

一个build.sbt文件的例子：

name := "Test"version := "1.0"scalaVersion := "2.11.8"libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.1"libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.3.1"libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.3.1"libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.4.0"libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.4.0"libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.4.0"libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.7.5"libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.7.5"libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.7.5"libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.3.6"lazy val akkaVersion = "2.5.3"libraryDependencies ++= Seq(  "com.typesafe.akka" %% "akka-actor" % akkaVersion,  "com.typesafe.akka" %% "akka-testkit" % akkaVersion,  "org.scalatest" %% "scalatest" % "3.0.1" % "test")