spark结构化流:通过Hive查询传入数据

时间:2017-12-20 05:44:29

标签: apache-spark hive spark-streaming

我正在使用Kafka将数据流式传输到Spark Structured Streaming 2.1.1中,并将writeStream()附加到镶木地板中。这有效。

我可以使用

在镶木地板文件上创建临时表
spark.read.parquet ("/user/markteehan/interval24" ).registerTempTable("interval24")

然而,这仅在相同的火花会话中可见; " read.parquet"必须重新运行才能收集新数据。设置" .queryName()"对于writeStream,不会在hive Metastore中创建一个表。

在镶木地板数据上动态运行SQL的最佳技术是什么?

0 个答案:

没有答案