无法从事件中心读取结构化流式传输

时间:2019-07-26 14:28:03

标签: apache-spark azure-eventhub azure-databricks

我正在尝试在本地/独立群集中运行结构化流。我的来源是事件中心,接收器也是事件中心。 我正在从流中阅读

spark.readstream().format("eventshub").option("eventhubs.connectionString","mystring").option("consumerGroup","mygroup")

我想从事件中心的开头开始读取,但是我没有任何数据。只有在开始执行Spark工作后,生产者将数据写入事件中心时,我才能获取数据。如果我的工作正在运行,并且有任何新事件发生,我就会明白。但是,如果我的火花工作停止并且事件被写了,我的工作就不会发生 重新开始。

我开始工作时没有错误,并且成功启动,但是我的应用程序未从事件中心获取任何数据。它只是在等待数据。

如果我将eventhub源更改为另一个源,是否需要进行任何清理,以便从新事件中心的请求中读取火花?我的读取流查询没有任何检查点,我只有写入流的检查点。如何知道如何从EventHub的开头读取内容?如果我开始工作,处理一些记录并重新开始工作,它将再次开始启动事件中心的处理。

0 个答案:

没有答案
相关问题