如何将Spark结构化流数据写入Hive?
有df.write().saveAsTable(tablename)
但是我不确定这是否写入流数据
我通常df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()
将流数据写入Kafka,但我没有看到类似于将流数据写入Hive数据仓库的内容。任何想法?
答案 0 :(得分:0)
df.createOrReplaceTempView("mytable")
spark.sql("create table mytable as select * from mytable");
或
df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");