BigQuery镶木地板文件加载失败

时间:2017-11-09 16:50:23

标签: google-bigquery

当我尝试手动加载或通过airflow-apache脚本加载时,bq加载失败:发生内部错误,无法完成请求。

手动测试命令:

bq load --source_format=PARQUET test.hit_preprod_20170723 "gs://np-secor-v2/logs/hit/dt=2017-07-23/*"  
bq load --source_format=PARQUET prod.hit_prod_20171008 "gs://np-secor-v2/logs/hit/dt=2017-10-08/*"

此命令至少在6个月后运行良好,我们每天都使用气流脚本来加载我们的日志。 我确信镶木地板文件没有被破坏,因为我测试了以前用于装载好的镶木地板的命令行。

完成tracelog:

  

等待bqjob_r2fdc668026d40257_0000015fa1a46f06_1 ...(0s)当前   status:加载操作中DONE BigQuery错误:处理错误   job' omega-episode-702:bqjob_r2fdc668026d40257_0000015fa1a46f06_1':An   发生内部错误,无法完成请求。

我们还使用JSON BigQuery加载,这个命令行今天早上在我们的生产环境中运行良好。

bq --project omega-episode-702 load --autodetect --source_format=NEWLINE_DELIMITED_JSON --schema=/data/nextperf/schema/event_schema.json prod.event_prod /data/nextperf/temp/event.json

似乎问题来自PARQUET来源。

使用bq版本测试:2.0.27,2.0.25和2.0.24

谢谢, 安托

0 个答案:

没有答案