我已经使用bq CLI实用程序成功地将大量AVRO文件(具有相同架构类型的同一个表格)加载到Google Storage上。
然而,对于某些AVRO文件,我在加载到bigquery时遇到非常神秘的错误,错误说:
Apache Avro库无法通过以下错误读取数据:EOF 到达(错误代码:无效)
使用avro-tools验证AVRO文件未损坏,报告输出:
java -jar avro-tools-1.8.1.jar repair -o report 2017-05-15-07-15-01_48a99.avro 恢复文件:2017-05-15-07-15-01_48a99.avro 档案摘要: 块数:51损坏块数:0 记录数:58598损坏记录数:0
我尝试使用其中一个失败的文件创建一个全新的表,以防由于架构不匹配但由于错误完全相同而没有帮助。
需要帮助找出可能导致错误的原因吗?