将AVRO文件加载到BigQuery时出错

时间:2017-06-08 23:43:12

标签: google-bigquery google-cloud-storage avro

我已经使用bq CLI实用程序成功地将大量AVRO文件(具有相同架构类型的同一个表格)加载到Google Storage上。

然而,对于某些AVRO文件,我在加载到bigquery时遇到非常神秘的错误,错误说:

Apache Avro库无法通过以下错误读取数据:EOF    到达(错误代码:无效)

使用avro-tools验证AVRO文件未损坏,报告输出:

java -jar avro-tools-1.8.1.jar repair -o report 2017-05-15-07-15-01_48a99.avro    恢复文件:2017-05-15-07-15-01_48a99.avro    档案摘要:      块数:51损坏块数:0      记录数:58598损坏记录数:0

我尝试使用其中一个失败的文件创建一个全新的表,以防由于架构不匹配但由于错误完全相同而没有帮助。

需要帮助找出可能导致错误的原因吗?

0 个答案:

没有答案