自动将文件从Google Cloud上传到Big Query

Question

如何自动化将.CSV文件从Google Cloud上传到Big Query的过程。

Answer 1

Google云端存储以CSV格式提供access and storage log files，可直接导入BigQuery进行分析。要访问这些日志，您必须set up log delivery and enable logging。对于存储访问日志和storage bucket data，可以使用JSON格式在线获取模式。有关详细信息，请参阅Cloud Storage access logs and storage data documentation。

要从命令行加载存储并访问BigQuery，请使用如下命令：

bq load --schema=cloud_storage_usage_schema.json my_dataset.usage_2012_06_18_v0 gs://my_logs/bucket_usage_2012_06_18_14_v0