Spark结构化流Kafka Writer是否支持将数据写入特定分区？

Question

Spark Structured Streaming的Kafka Writer是否支持将数据写入特定分区？在Spark Structured Streaming Documentation中，没有提到不支持将数据写入特定分区。

我也看不到通过“分区ID”的选项 “将数据写入Kafka”

如果不支持，则将来有任何支持计划，或者为什么不支持。

Answer 1

键确定要写入哪个分区-不，您不能在Spark的write方法中对分区值进行硬编码。

Spark确实允许您配置SELECT IF(Table1.Column1 IS NULL,Table1.Column1,Table2.Column1) as Val FROM Table1 ... ，这将允许您根据数据键定义分区号

  

可以通过kafka.partitioner.class前缀DataStreamReader.option，例如kafka.来设置Kafka自己的配置。有关可能的kafka参数，请参阅... Kafka producer config文档以获取与写入数据有关的参数。