我可以直接从本地服务器（文件或dbs ..）到自定义源和接收器吗？

Question

我想直接将本地服务器（文件或dbs）的自定义源和接收器转换为数据流。所以我想知道是否有可能。

如果有可能，我该怎么做呢？ 仅供参考，我从未制作过自定义源和接收器。 但我曾经使用过GCS，dataflow。

Answer 1

Dataflow的custom IO framework可以从任意来源读取并写入任意接收器。您当然可以将连接器写入各种类型的文件和数据库。

但是，在远程服务上执行管道（如云中的Google Cloud Dataflow）时，根据多种因素，它可能无法访问本地计算机上运行的服务。此外，这样的本地服务可能无法很好地扩展以获得高性能的数据处理流程。

因此，将数据移至基于云的服务（如Google云端存储或Google BigQuery）可能会更好。