给定TextIO.Read的匹配模式(例如gs://my_bucket/file-*.txt),我想返回每个匹配文件的完整URL。 如何检索此参数?
由于
答案 0 :(得分:4)
Dataflow目前不支持此类内容。
您可以使用GCS实用程序获取与给定模式匹配的文件列表*。
以下是他们的命令行工具:https://cloud.google.com/storage/docs/gsutil 还有一些客户端库: https://cloud.google.com/storage/docs/json_api/v1/libraries#api-client-libraries
但请注意,如果文件是最近写入的或经常更改,GCS仅保证列表操作的最终一致性。所以你每次都可能会获得一个略有不同的列表。如果文件列表没有改变,那就应该是正确的。