Google Dataprep与消息经纪人的集成

Question

是否可以在Dataprep作业中读取Kafka或Google Pub / Sub表格？

如果是这样的话，那么在进行调试时，在“视觉工作室，活泼，生动，响应迅速”上编辑示例时，我应该期望任何“最佳实践”部署注意事项（减去购买或下载工具的能力）生产流程（相同的“数据类型”）是在除此类工具（在我们最喜欢的IDE上编码Scala / Java）之外的任何工具上执行的？

Answer 1

没有一种原生方法可以直接从消息系统（例如Kafka或Pub / Sub）读取到Cloud Dataprep。

我建议一种替代方法：

1. 将数据流式传输到BigQuery中，然后从BQ中读取数据
2. 将流数据写入Cloud Storage，然后加载数据

这两种方法都需要事先将数据写入中间位置。如果您将来需要低延迟，高性能或查询能力，我建议使用BQ。如果速度不是很关键，我建议使用低成本的GCS。