Java Apache Beam-使用DataflowRunner保存文件“ LOCALY”

时间:2019-05-15 19:37:53

标签: java google-cloud-dataflow apache-beam

Can send the java code but currently, it's not necessary.

我遇到一个问题,当我以(DirectRunner-使用Google VM实例)运行作业时,它运行正常,因为它将信息保存到本地文件并继续...

尝试使用(DataflowRunner)时出现问题,并且收到我收到的错误:

java.nio.file.NoSuchFileExtension: XXXX.csv
.....
.....
XXXX.csv could not be delete.

由于甚至没有创建,因此可以将其删除。

问题-通过 DataflowRunner ??

运行时如何在本地写入文件

PS (使用Apache Beam)

管道(代码的一部分)-Reading from BigQuery and store data to Google storage (Special Character issue)

1 个答案:

答案 0 :(得分:0)

AFAIK作为数据流实例运行时,必须将文件写入GCS服务(也称为存储桶)而不是本地磁盘。

您已经尝试过了吗?创建存储桶:https://cloud.google.com/storage/docs/creating-buckets