Cloud Dataflow - TextIO.Read:给定匹配模式返回特定文件URL

时间:2016-06-05 22:28:40

标签: java google-cloud-platform google-cloud-dataflow

给定TextIO.Read的匹配模式(例如gs://my_bucket/file-*.txt),我想返回每个匹配文件的完整URL。 如何检索此参数?

由于

1 个答案:

答案 0 :(得分:4)

Dataflow目前不支持此类内容。

您可以使用GCS实用程序获取与给定模式匹配的文件列表*。

以下是他们的命令行工具:https://cloud.google.com/storage/docs/gsutil 还有一些客户端库: https://cloud.google.com/storage/docs/json_api/v1/libraries#api-client-libraries

但请注意,如果文件是最近写入的或经常更改,GCS仅保证列表操作的最终一致性。所以你每次都可能会获得一个略有不同的列表。如果文件列表没有改变,那就应该是正确的。