项目实战从0到1之Spark(3)spark读取hive数据
发布日期:2021-05-14 00:16:46 浏览次数:16 分类:博客文章

本文共 15480 字,大约阅读时间需要 51 分钟。

1.���������������������3���������hive-site.xml���core-size.xml,hdfs-site.xml���������������������(���������������������)

2.���������������������������������������������������

  1���test03.java

import org.apache.spark.sql.SparkSession;import java.text.ParseException;public class test03 {    public static void main(String[] args) throws ParseException {        SparkSession spark = SparkSession                .builder()                .appName("Java Spark Hive Example")                .master("local[*]")              //.config("spark.sql.warehouse.dir", "/user/hive/warehouse")                .config("hadoop.home.dir", "/user/hive/warehouse")                .enableHiveSupport()                .getOrCreate();        spark.sql("SELECT * FROM mt1").show();    }}

 2)Hive03.scala

import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextobject Hive03 {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("test").setMaster("local[2]")    val sc = new SparkContext(conf)    val sqlContext = new HiveContext(sc)    sqlContext.table("mt1") // ������.������ ���������      .registerTempTable("person")  // ������������������    sqlContext.sql(      """        | select *        |   from person        |  limit 10      """.stripMargin).show()    sc.stop()  }}

 3) SparkHiveText.scala

import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}object SparkHiveText {  def main(args: Array[String]) {    val conf=new SparkConf().setMaster("local").setAppName("SparkHiveText")    val sc=new SparkContext(conf)    val hc=new HiveContext(sc)    hc.sql("select * from mt1").show()    sc.stop()  }}

������������������������������������ ���������������(null) entry in command string: null chmod 0700

    ������������:

������������hadoop.dll���������������c:\windows\system32������������

������������:

4.0.0
test
test
1.0-SNAPSHOT
2.2.1
2.11
org.codehaus.jettison
jettison
1.3.4
org.apache.spark
spark-core_${scala.version}
${spark.version}
org.apache.spark
spark-streaming_${scala.version}
${spark.version}
org.apache.spark
spark-sql_${scala.version}
${spark.version}
org.apache.spark
spark-hive_${scala.version}
${spark.version}
org.apache.spark
spark-sql-kafka-0-10_2.11
2.2.1
org.apache.spark
spark-streaming-kafka-0-10_2.11
2.2.1
org.apache.spark
spark-mllib_${scala.version}
${spark.version}
org.apache.spark
spark-sql_2.11
2.2.1
org.apache.spark
spark-core_2.11
2.2.1
org.apache.spark
spark-streaming_2.11
2.2.1
provided
com.sparkjava
spark-core
2.2
org.apache.spark
spark-repl_2.11
2.2.1
org.elasticsearch
elasticsearch-spark-20_2.11
5.6.3
mysql
mysql-connector-java
5.1.41
org.apache.commons
commons-lang3
3.4
org.slf4j
slf4j-api
log4j
log4j
log4j
log4j
1.2.17
org.slf4j
slf4j-log4j12
1.7.12
org.slf4j
slf4j-api
1.7.12
com.101tec
zkclient
0.10
org.scala-tools
maven-scala-plugin
2.15.2
compile
testCompile
maven-compiler-plugin
3.6.0
1.8
1.8
org.apache.maven.plugins
maven-surefire-plugin
2.19
true

pom.xml

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

spark������������������������hive���

import org.apache.spark.sql.{SaveMode, SparkSession}object Hive05 {  def main(args: Array[String]): Unit = {    val spark = SparkSession      .builder().master("local[*]")      .appName("wer")      //.config("spark.sql.warehouse.dir", "/user/hive/warehouse") //������������������      .enableHiveSupport()      .getOrCreate()    val df = spark.table("mt1").createOrReplaceTempView("person") //������hive���������person������������������������       // ������������������   val tt= spark.sql(" select BUS_NO,CITY_NO,INS_TIME from person")    tt.show();    tt.write.mode(SaveMode.Overwrite).saveAsTable("test05")  }}

 ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

���������������hive on spark������������������������scala���spark������������������

import org.apache.spark.sql.SparkSession;import java.text.ParseException;public class test03 {    public static void main(String[] args) throws ParseException {                System.setProperty("hadoop.home.dir", "C:\\hadoop-common-2.2.0");        SparkSession spark = SparkSession                .builder()                .appName("Java Spark Hive Example")                .master("local[*]")                //.config("spark.sql.warehouse.dir", "/user/hive/warehouse")               // .config("hadoop.home.dir", "/user/hive/warehouse")                .enableHiveSupport()                .getOrCreate();        spark.sql("SELECT * FROM mt1").show();    }}

 

 ���������������������������������������������https://github.com/srccodes/hadoop-common-2.2.0-bin

������������:https://blog.csdn.net/woshixuye/article/details/53461975

2.������scala������������������2.12.X������������������maven���2.11 

4.0.0
test
test
1.0-SNAPSHOT
2.2.1
2.11
org.apache.hbase
hbase-server
1.2.4
org.apache.hbase
hbase-protocol
1.2.4
org.apache.hbase
hbase-common
1.2.4
org.apache.hbase
hbase-client
1.2.4
org.codehaus.jettison
jettison
1.3.4
org.apache.spark
spark-core_${scala.version}
${spark.version}
org.apache.spark
spark-streaming_${scala.version}
${spark.version}
org.apache.spark
spark-sql_${scala.version}
${spark.version}
org.apache.spark
spark-hive_${scala.version}
${spark.version}
org.apache.spark
spark-sql-kafka-0-10_2.11
2.2.1
org.apache.spark
spark-streaming-kafka-0-10_2.11
2.2.1
org.apache.spark
spark-mllib_${scala.version}
${spark.version}
org.apache.spark
spark-sql_2.11
2.2.1
org.apache.spark
spark-core_2.11
2.2.1
org.apache.spark
spark-streaming_2.11
2.2.1
provided
com.sparkjava
spark-core
2.2
org.apache.spark
spark-repl_2.11
2.2.1
org.elasticsearch
elasticsearch-spark-20_2.11
5.6.3
mysql
mysql-connector-java
5.1.17
org.apache.commons
commons-lang3
3.4
org.slf4j
slf4j-api
log4j
log4j
log4j
log4j
1.2.17
org.slf4j
slf4j-log4j12
1.7.12
org.slf4j
slf4j-api
1.7.12
com.101tec
zkclient
0.10
org.scala-tools
maven-scala-plugin
2.15.2
compile
testCompile
maven-compiler-plugin
3.6.0
1.8
1.8
org.apache.maven.plugins
maven-surefire-plugin
2.19
true

*hive������������spark ���������������

// ������Hive On Spark������������// ���������set hive.execution.engine������������Hive������������������spark������// ���������mrset hive.execution.engine=spark;// ���������������������������������������Spark Master���URL���������set spark.master=spark://192.168.1.107:7077

 

上一篇:项目实战从0到1之Spark(4)SparkSQL读取HBase数据
下一篇:项目实战从0到1之Spark(2)Spark读取和存储HDFS上的数据

发表评论

最新留言

很好
[***.229.124.182]2025年04月09日 11时52分13秒