慢速插入bq +后端错误

Question

我们在将数据插入BigQuery时遇到了麻烦。 我们位于荷兰。

命令：
adm @ la478 ads_csv $ time bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04dc2f2c52b.csv.gz
加载操作中的BigQuery错误：后端错误

指标：
真正的4m35.997s
用户0m0.963s
sys 0m0.169s

文件大小：
-rw-rw-rw- 1 adm admin 39M Jul 10 17:02 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
200MB未压缩

请您建议使用该怎么做？

Answer 1

我正在调查我们后端的问题，但如果你通过谷歌存储进行导入，你可能会有更好的运气（特别是来自欧洲）。如果运行gsutil cp ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz gs://your_bucket/ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz，则可以将bq命令行更改为：

bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad gs://your_bucket/ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz

我正在我们的日志中查找您的工作，看起来有一堆最近的加载作业因“TOO_MANY_ERRORS＆＃39;”而失败。如果您使用bq ls -j和bq show -j <job_id>，则可以获得有关这些内容的更多信息。