当我尝试手动加载或通过airflow-apache脚本加载时,bq加载失败:发生内部错误,无法完成请求。
手动测试命令:
bq load --source_format=PARQUET test.hit_preprod_20170723 "gs://np-secor-v2/logs/hit/dt=2017-07-23/*"
bq load --source_format=PARQUET prod.hit_prod_20171008 "gs://np-secor-v2/logs/hit/dt=2017-10-08/*"
此命令至少在6个月后运行良好,我们每天都使用气流脚本来加载我们的日志。 我确信镶木地板文件没有被破坏,因为我测试了以前用于装载好的镶木地板的命令行。
完成tracelog:
等待bqjob_r2fdc668026d40257_0000015fa1a46f06_1 ...(0s)当前 status:加载操作中DONE BigQuery错误:处理错误 job' omega-episode-702:bqjob_r2fdc668026d40257_0000015fa1a46f06_1':An 发生内部错误,无法完成请求。
我们还使用JSON BigQuery加载,这个命令行今天早上在我们的生产环境中运行良好。
bq --project omega-episode-702 load --autodetect --source_format=NEWLINE_DELIMITED_JSON --schema=/data/nextperf/schema/event_schema.json prod.event_prod /data/nextperf/temp/event.json
似乎问题来自PARQUET来源。
使用bq版本测试:2.0.27,2.0.25和2.0.24
谢谢, 安托