标签: hadoop apache-pig
我在Hadoop中有一个数据处理要求,用于验证hdfs中的数据与另一个文件,该文件包含有关数据文件中的字段可以包含的有效值的元数据。
元数据的信息如下: 1 field1 - 布尔 2 field2 - 文字 3 field3 - 数字。
我需要遍历数据文件中的每个字段,并根据元数据对其进行验证,以查看值是否有效。
可以使用PIG脚本完成此类处理吗?
此致 光洁度