为什么Spark Streaming中的新Kafka Direct Stream采用了一系列主题？

Question

即。 KafkaUtils.createDirectStream

您不希望每个主题都有单独的DStream吗？我问，因为我目前有N个主题，每个主题都有不同类型的数据（在这种情况下是不同类型的Protobuf对象）。显然这是故意的，否则每个Kafka Direct DStream都会将一个主题作为字符串。我错过了什么？

谢谢！

Answer 1

直接流可让您访问每个主题分区。因此，如果您有许多相关主题，具有相似但不完全相同的处理要求，您可以在单个流中轻松处理它们。