使用HiveContext从Hive插入或读取

时间:2017-03-28 16:21:55

标签: apache-spark hive apache-spark-sql

我试图了解Spark如何与HDFS / Hive一起工作..

如果我使用HiveContext读取或写入hive,它会在hadoop群集端生成map reduce作业吗?

将使用哪些资源(spark或Hadoop)来执行hc.sql(****)上的语句;

SQLContext hc = new HiveContext(jssc.sparkContext());
Dataset<Row> df = hc.createDataFrame(schemaRDD, mySchema.class);
df.createOrReplaceTempView("myView");
hc.sql("SELECT * from HIVE_TABLE"); 
hc.sql("INSERT INTO ......"from myView"); 

0 个答案:

没有答案