如何将消息从Google Cloud pubsub（gcp）发布到远程运行的Kafka主题

Question

需要帮助以获取一些帮助，以将所有消息从GCP（Google Cloud Pubsub）发布到远程运行的Kafka主题

我使用了来自“ https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76”的连接器代码，并且能够将数据从GCP移至Kafka主题。 Kafka和连接器在同一台机器上运行，现在我只需要连接器代码并将来自PubSub的消息添加到远程运行的Kafka主题

Answer 1

将邮件从Google Cloud Pub / Sub复制到远程运行的Kafka主题应该与一切都位于GCP中没有太大不同。有两种选择：

1. 运行Kafka与您的Kafka部署连接。在这种情况下，您必须确保运行Kafka的计算机有权在端口443上向Google Cloud发出传出请求。
2. 在GCP上运行Kafka（可能在GCE实例中）。您必须将Kafka connect configuration中的bootstrap.servers属性设置为运行Kafka的服务器列表。这意味着这些服务器将必须是可公开寻址的，并允许传入连接。