1.���������������������3���������hive-site.xml���core-size.xml,hdfs-site.xml���������������������(���������������������)
2.���������������������������������������������������
1���test03.java
import org.apache.spark.sql.SparkSession;import java.text.ParseException;public class test03 { public static void main(String[] args) throws ParseException { SparkSession spark = SparkSession .builder() .appName("Java Spark Hive Example") .master("local[*]") //.config("spark.sql.warehouse.dir", "/user/hive/warehouse") .config("hadoop.home.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate(); spark.sql("SELECT * FROM mt1").show(); }}
2)Hive03.scala
import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextobject Hive03 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test").setMaster("local[2]") val sc = new SparkContext(conf) val sqlContext = new HiveContext(sc) sqlContext.table("mt1") // ������.������ ��������� .registerTempTable("person") // ������������������ sqlContext.sql( """ | select * | from person | limit 10 """.stripMargin).show() sc.stop() }}
3) SparkHiveText.scala
import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}object SparkHiveText { def main(args: Array[String]) { val conf=new SparkConf().setMaster("local").setAppName("SparkHiveText") val sc=new SparkContext(conf) val hc=new HiveContext(sc) hc.sql("select * from mt1").show() sc.stop() }}
������������������������������������ ���������������(null) entry in command string: null chmod 0700
������������:
������������hadoop.dll���������������c:\windows\system32������������
������������:
4.0.0 test test 1.0-SNAPSHOT 2.2.1 2.11 org.codehaus.jettison jettison 1.3.4 org.apache.spark spark-core_${scala.version} ${spark.version} org.apache.spark spark-streaming_${scala.version} ${spark.version} org.apache.spark spark-sql_${scala.version} ${spark.version} org.apache.spark spark-hive_${scala.version} ${spark.version} org.apache.spark spark-sql-kafka-0-10_2.11 2.2.1 org.apache.spark spark-streaming-kafka-0-10_2.11 2.2.1 org.apache.spark spark-mllib_${scala.version} ${spark.version} org.apache.spark spark-sql_2.11 2.2.1 org.apache.spark spark-core_2.11 2.2.1 org.apache.spark spark-streaming_2.11 2.2.1 provided com.sparkjava spark-core 2.2 org.apache.spark spark-repl_2.11 2.2.1 org.elasticsearch elasticsearch-spark-20_2.11 5.6.3 mysql mysql-connector-java 5.1.41 org.apache.commons commons-lang3 3.4 org.slf4j slf4j-api log4j log4j log4j log4j 1.2.17 org.slf4j slf4j-log4j12 1.7.12 org.slf4j slf4j-api 1.7.12 com.101tec zkclient 0.10 org.scala-tools maven-scala-plugin 2.15.2 compile testCompile maven-compiler-plugin 3.6.0 1.8 1.8 org.apache.maven.plugins maven-surefire-plugin 2.19 true
pom.xml
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
spark������������������������hive���
import org.apache.spark.sql.{SaveMode, SparkSession}object Hive05 { def main(args: Array[String]): Unit = { val spark = SparkSession .builder().master("local[*]") .appName("wer") //.config("spark.sql.warehouse.dir", "/user/hive/warehouse") //������������������ .enableHiveSupport() .getOrCreate() val df = spark.table("mt1").createOrReplaceTempView("person") //������hive���������person������������������������ // ������������������ val tt= spark.sql(" select BUS_NO,CITY_NO,INS_TIME from person") tt.show(); tt.write.mode(SaveMode.Overwrite).saveAsTable("test05") }}
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
���������������hive on spark������������������������scala���spark������������������
import org.apache.spark.sql.SparkSession;import java.text.ParseException;public class test03 { public static void main(String[] args) throws ParseException { System.setProperty("hadoop.home.dir", "C:\\hadoop-common-2.2.0"); SparkSession spark = SparkSession .builder() .appName("Java Spark Hive Example") .master("local[*]") //.config("spark.sql.warehouse.dir", "/user/hive/warehouse") // .config("hadoop.home.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate(); spark.sql("SELECT * FROM mt1").show(); }}
���������������������������������������������https://github.com/srccodes/hadoop-common-2.2.0-bin
������������:https://blog.csdn.net/woshixuye/article/details/53461975
2.������scala������������������2.12.X������������������maven���2.11
4.0.0 test test 1.0-SNAPSHOT 2.2.1 2.11 org.apache.hbase hbase-server 1.2.4 org.apache.hbase hbase-protocol 1.2.4 org.apache.hbase hbase-common 1.2.4 org.apache.hbase hbase-client 1.2.4 org.codehaus.jettison jettison 1.3.4 org.apache.spark spark-core_${scala.version} ${spark.version} org.apache.spark spark-streaming_${scala.version} ${spark.version} org.apache.spark spark-sql_${scala.version} ${spark.version} org.apache.spark spark-hive_${scala.version} ${spark.version} org.apache.spark spark-sql-kafka-0-10_2.11 2.2.1 org.apache.spark spark-streaming-kafka-0-10_2.11 2.2.1 org.apache.spark spark-mllib_${scala.version} ${spark.version} org.apache.spark spark-sql_2.11 2.2.1 org.apache.spark spark-core_2.11 2.2.1 org.apache.spark spark-streaming_2.11 2.2.1 provided com.sparkjava spark-core 2.2 org.apache.spark spark-repl_2.11 2.2.1 org.elasticsearch elasticsearch-spark-20_2.11 5.6.3 mysql mysql-connector-java 5.1.17 org.apache.commons commons-lang3 3.4 org.slf4j slf4j-api log4j log4j log4j log4j 1.2.17 org.slf4j slf4j-log4j12 1.7.12 org.slf4j slf4j-api 1.7.12 com.101tec zkclient 0.10 org.scala-tools maven-scala-plugin 2.15.2 compile testCompile maven-compiler-plugin 3.6.0 1.8 1.8 org.apache.maven.plugins maven-surefire-plugin 2.19 true
*hive������������spark ���������������
// ������Hive On Spark������������// ���������set hive.execution.engine������������Hive������������������spark������// ���������mrset hive.execution.engine=spark;// ���������������������������������������Spark Master���URL���������set spark.master=spark://192.168.1.107:7077