我正在使用Kafka将数据流式传输到Spark Structured Streaming 2.1.1中,并将writeStream()附加到镶木地板中。这有效。
我可以使用
在镶木地板文件上创建临时表spark.read.parquet ("/user/markteehan/interval24" ).registerTempTable("interval24")
然而,这仅在相同的火花会话中可见; " read.parquet"必须重新运行才能收集新数据。设置" .queryName()"对于writeStream,不会在hive Metastore中创建一个表。
在镶木地板数据上动态运行SQL的最佳技术是什么?