我是否可以将Google Cloud Storage存储桶中的每个项目加载到BigQuery表中而不列出每个文件名？

Question

我每隔2-3分钟使用来自我的网络服务器的数据（管道分隔值）将新日志文件写入Google云端存储分区。我在一个Google Cloud Storage存储桶中有数千个~1MB的文件，并希望将所有文件加载到BigQuery表中。

“bq load”命令似乎需要单个文件，并且不能占用整个存储桶或带前缀的存储桶。

在gs存储桶中加载数千个文件的最佳方法是什么？我是否真的需要获取每个文件的URI，而不是仅仅为BigQuery指定存储桶名称或存储桶和前缀？

Answer 1

您可以使用glob样式的通配符。例如。 gs://bucket/prefix*.txt。