ReadFromText中的validate参数不适用于GCP

时间:2019-07-02 06:56:29

标签: python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io

在本地运行流并将不存在的本地地址作为输入(即不存在的文件的url)传递时,ReadFromText的validate参数可以正常工作并引发错误。但是,在GCP(GCS地址作为输入)上运行时,该流不会引发任何错误。那样的话,我的意思是validate参数没有作用,并且流程继续进行,就好像传递了一个内部带有空文本的现有文件一样。有没有解决方法?

GCP数据流中的Apache光束管道

我希望会引发错误,因此流程应会失败。但是,流程静默地以空集合继续进行。

0 个答案:

没有答案