使用命令行工具从Google Cloud Console加载到Google BigQuery

Question

到目前为止，我使用BigQuery网络工具从我自动保存在云端存储上的数据备份中加载。我将这些备份每周存储三次，在三个不同的存储桶中，具体取决于工作日（星期一，星期三，星期五）。

GAE备份工具使用如此长的名称（例如：ahNzfmVnb2xpa2Vwcm9kdWN0aW9uckELEhxfQUVfRGF0YXN0b3JlQWRtaW5fT3BlcmF0aW9uGIrD6wMMCxIWX0FFX0JhY2t1cF9JbmZvcm1hdGlvbhgBDA.entityName.backup_info）保存.backup_info文件，并且不知道如何确定它或者我是否可以确定更容易的名称。我只能给“output-X-retry-Y”文件命名。有没有办法改变这个？

另一方面，我正在尝试命令行工具，我想从网络工具转移到这个工具。

我已尝试过load命令，但不知道如何从备份中自动生成架构，就像我在“指定架构”部分的Web工具中所做的那样。

由于未指定尝试此格式的架构，我总是会收到错误：

bq load dataset.table gs://path

是否有可能无法确定架构，就像我在网络工具上没有这样做一样？

Answer 1

如果您正在运行bq load以导入GAE数据存储备份，则应添加--source_format=DATASTORE_BACKUP标志。请注意，您需要在load之后但在表名之前添加该标志：

bq load --source_format=DATASTORE_BACKUP dataset.table gs://path

这将告诉BigQuery您是从数据存储备份加载的，它具有自描述模式。

据我所知，没有办法控制生成的数据存储备份名称。