是否有Google Dataflow MongoDB源/接收器?

时间:2016-05-23 17:38:23

标签: mongodb google-cloud-platform google-cloud-dataflow

我知道Google Dataflow仅正式支持数据流的I / O,即Google Cloud Storage,BigQuery,Avro文件或Pub / Sub开箱即用的文件。

但是因为它有一个API for Custom Source and Sink我想知道,是否有一些MongoDB的管道I / O实现?

现在,我必须将数据迁移到BigQuery或编写整个Pipeline I / O实现,然后才能知道Google Dataflow是否是解决当前问题的可行解决方案。

我尝试使用Google搜索并查看current SDK issues并且没有看到任何相关信息。我甚至开始怀疑我是否遗漏了谷歌数据流概念和文档中的一些非常基本的内容,这些内容完全无法将这个初始想法用于使用MongoDB作为数据源。

1 个答案:

答案 0 :(得分:3)

最近,一个MongoDB连接器被添加到Apache Beam (incubating)。请参阅MongoDBIO