使用模式进行avro数据验证

时间:2017-06-27 06:20:21

标签: validation hadoop hive avro

我是这个数据验证和相关概念的新手,请原谅我这是一个简单的问题,请帮我完成这个步骤。

使用案例:验证AVRO文件(结构和数据)

输入

  1. 我们将收到AVRO文件的
  2. 我们将在记事本中添加一个模式文件(外部名称,数据类型和大小等)
  3. 验证

    1. 需要验证具有结构的AVRO文件(模式,即字段,数据类型,大小等)
    2. 从Hive查看时需要验证数字和小数格式
    3. 到目前为止,我能够实现的是使用avro jar从avro文件中获取模式。

0 个答案:

没有答案