如何在unix中找到损坏的avro文件

Question

我在Unix中有很少的.avro文件。如何查找文件是否已损坏？

我正在尝试使用Hive使用insert语句将Avro数据从tableA插入tableB。我一直在获得顶点失败错误。我假设某个特定的Avro文件已损坏。

Answer 1

您可以使用Avro DataFileRepairTool清除不良的Avros。有一种报告错误的模式。该工具在avro的1.8.x中可用。