有没有办法在Google Dataflow中将Kafka连接为接收器？我知道我们可以将CloudPubSubConnector与pub / sub和Kafka一起使用，但我不想在Dataflow和Kafka之间使用Pub / sub。
谢谢， 巴拉
答案 0 :(得分：1)
是（假设您使用的是Java SDK）。有关KafkaIO的JavaDoc中的usabe示例，请参阅“写入Kafka”：https://github.com/apache/beam/blob/release-2.3.0/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka/KafkaIO.java#L221
答案 1 :(得分：1)
如果您正在使用Python编写DataFlow作业，则可以使用Confluents Kafka客户端 [https://github.com/confluentinc/confluent-kafka-python][1] 并编写自己的Beam Sink / Source接口。在Beam [https://beam.apache.org/documentation/sdks/python-custom-io/][1]
中有一个用于编写自己的接收器/源的指南