在Google Cloud Dataflow中不使用DirectPipelineRunner即可读/写本地

Question

是否可以在不使用DirectPipelineRunner的情况下在本地读取/写入数据？ 假设我在云上创建了一个数据流模板，我希望它能够读取一些本地数据。这可能吗？

谢谢..

Answer 1

您需要先将输入文件转储到Google Cloud Storage并从那里读取。您的代码将如下所示：

p.apply(TextIO.read().from(gs://bucket/folder)

其中 gs：// bucket / folder 是GCS中文件夹的路径，并假设您使用的是最新的Beam版本（2.0.0）。然后，您可以将GCS的输出下载到本地计算机。