是否可以将Kafka与Google云数据流一起使用

Question

我有两个问题

1）我想将Kafka与Google云数据流管道计划结合使用。在我的管道程序中，我想从kafka读取数据是否可能？

2）我创建了启用BigQuery的Instance现在我想启用Pubsub我该怎么办？

Answer 1

（1）Raghu提到的广告，2016年中期使用KafkaIO包添加了对Kafka写/读的支持。您可以查看package's documentation [1]以了解如何使用它。

（2）我不太清楚你的意思。你能提供更多细节吗？

[1] https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/kafka/KafkaIO.html

Answer 2

Kafka support was added to Dataflow (and Apache Beam) in mid 2016. You can read and write to Kafka streaming pipelines. See JavaDoc for BootstrapValidationRenderer in Apache Beam.

Answer 3

（2）截至2015年4月27日，您可以按如下方式启用Cloud Pub / Sub API：

1. 转到开发者控制台上的项目页面
2. 点击APIs & auth - ＆gt; APIs
3. 点击More
中的Google Cloud APIs
4. 点击Cloud Pub/Sub API
5. 点击Enable API