将Google Cloud Storage存储桶中的日志加载到BigQuery中

时间:2013-03-31 18:15:53

标签: logging google-bigquery google-cloud-storage

我的目标是使用BigQuery Web界面将我的所有(GCS创建的)日志从Google Cloud Storage导入BigQuery。 由于每小时创建日志,我想一次性导入它们进行分析。

例如gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0,gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0002a_v0等。

获取一个文件时出现此错误:

错误:

 Line:1 / Column:1, Expected '{' found '"'
 Line:2 / Column:1, Expected '{' found '"' 
 Line:3 / Column:1, Expected '{' found '"'
 Line:4 / Column:1, Expected '{' found '"'
 Line:5 / Column:1, Expected '{' found '"'
 Line:6 / Column:1, Expected '{' found '"'
 Line:7 / Column:1, Expected '{' found '"'

我所做的是创建一个新的数据集,从gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0中选择数据,然后添加此模式http://storage.googleapis.com/pub/cloud_storage_usage_schema_v0.json并提交。

此处的类似问题和谷歌这一点对我没什么帮助。

拜托,谢谢。

1 个答案:

答案 0 :(得分:0)

你能举一个例子吗?数据是json格式还是csv?从错误中,它听起来像是在尝试导入JSON数据,但是json行不应该以'''开头 - 它应该以'{'开头。这是CSV数据吗?如果是这样,你应该设置sourceFormat到CSV(或留空)而不是NEWLINE_DELIMITED_JSON。