我正在尝试将Avro数据加载到Bigquery中。所以我通过在hive中运行INSERT OVERWRITE COMMAND将ORC数据转换为AVRO。当我尝试使用bq命令行工具在Bigquery中加载数据时，我收到此错误： - < / p>
＆＃34;消息＆＃34;：＆＃34;读取数据时出错，错误消息：Avro解析位置397707中的错误。数据块17378680的大小大于允许的最大值16777216。＆＃34; < / p>
有什么方法可以增加这个数据块的大小。我找不到与此相关的任何内容。
以下是我尝试用来加载数据的命令。
bq load --source_format=AVRO dataset.table gs://********/gold/offers/hive/gold_hctc_ofr_txt/ingestion_time=20180305/000000_0
答案 0 :(得分：0)
由于this document中定义的BigQuery的块大小限制，似乎实际上遇到了问题。您可以查看行和单元格大小限制部分，其中提到Avro的块大小为16MB。