Spark结构化流式Kafka集成-流式查询

时间:2020-01-30 16:03:54

标签: apache-spark apache-kafka spark-structured-streaming

我正在开发将连接到Kafka源并且在同一源上的应用程序,我想创建具有不同过滤条件的多个流查询。每个查询都将处理业务逻辑并将其写入HBase。

我正在尝试解决业务逻辑中的某些竞争条件,并想在阅读Kafka时了解Spark Strucutured Streaming的内部工作方式。

1)在整个应用程序中将创建多少个Kafka使用者?它与该主题上的分区数量或运行该应用程序的执行程序的数量有关吗?

2)每个流查询是否都将写入每个查询有1个Kafka使用者的同一无界表?

0 个答案:

没有答案