如何将Spark结构化流数据写入Hive?

时间:2017-08-21 11:30:34

标签: apache-spark hive apache-spark-2.0

如何将Spark结构化流数据写入Hive?

df.write().saveAsTable(tablename)但是我不确定这是否写入流数据

我通常df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()将流数据写入Kafka,但我没有看到类似于将流数据写入Hive数据仓库的内容。任何想法?

1 个答案:

答案 0 :(得分:0)

df.createOrReplaceTempView("mytable") 
spark.sql("create table mytable as select * from mytable");

df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");