Question

我正在尝试使用bq load命令将数据加载到大查询中，但是在加载数据时遇到一些问题。

我尝试了下面的bq加载选项

--allow_quoted_newlines 
--allow_jagged_rows

出现下面的错误

cloudshell:~ (cec-gcp-srm-prod)$ bq load  --source_format CSV  --allow_quoted_newlines --allow_jagged_rows cec_tabular_data.AIU_FaStudentPell gs://cec-srm-prod/sqoop_jars/tables/AIU_FaStudentPell/part-*
Waiting on bqjob_r7be43351d9d1ee46_0000016cd9590247_1 ... (9s) Current status: DONE   
BigQuery error in load operation: Error processing job 'cec-gcp-srm-prod:bqjob_r7be43351d9d1ee46_0000016cd9590247_1': Error while reading data, error message: CSV table encountered too many errors,
giving up. Rows: 53097; errors: 1. Please look into the errors[] collection for more details.
Failure details:
- gs://cec-srm-prod/sqoop_jars/tables/AIU_FaStudentPell/part-m-00000:
Error while reading data, error message: Too many values in row
starting at position: 25633742.

Answer 1

从错误消息的外观来看，该作业被设计为一旦遇到1个错误就会失败。

如果数据准确性不是问题，则增加摄取期间允许的错误数，并删除不良记录。

根本原因可能是分隔符出现在csv数据中，导致创建了其他列。如果需要100％的数据，请尝试将分隔符从更改为|。或一些未使用的符号，可以解决问题。

使用命令行将csv文件加载到大查询中时遇到问题

1 个答案: