Question

我需要将消息从Google Pub / Sub主题发布到运行在本地基础结构上的Kafka。我偶然发现了这个链接。

https://docs.confluent.io/current/connect/kafka-connect-gcp-pubsub/index.html

这应该有效。想知道您是否使用其他替代解决方案来实现这一目标？

Answer 1

如果您需要集成PubSub和Kafka，建议您为此创建一个脚本。例如，在Python中，我们有PubSub和Kafka

的库

基于此，您可以创建一个大致如下所示的脚本，并在某些处理资源（例如 Compute Engine ）中或在本地服务器中运行该脚本：

from google.cloud import pubsub_v1
from kafka import KafkaProducer


def callback(message):
     print(message.data)
     producer.send('<your-topic>', message.data)
     message.ack()


producer = KafkaProducer(bootstrap_servers='localhost:1234')  //Change it for your real parameter

subscription_name = "projects/<your-project>/subscriptions/<your-subscription>"
subscriber = pubsub_v1.SubscriberClient()

future = subscriber.subscribe(subscription_name, callback)

从GCP Pub Sub发布到本地Kafka

1 个答案: