标签: validation hadoop hive apache-nifi
我有一个要求,我需要在NiFi中处理平面文件,然后将其加载到Hive中。为此,我正在使用ListSFTP -> FetchSFTP -> PutHDFS 处理器,效果很好。
ListSFTP -> FetchSFTP -> PutHDFS
现在,我需要从平面文件到Hive进行数据验证,这意味着我需要从Hive表中的记录数中比较文件中的记录数。
对于平面文件,QueryRecord处理器可以很好地进行计数,但是我需要获取平面文件名,平面文件记录数,当前时间戳,配置单元表名称,配置单元表记录。
QueryRecord
您能告诉我哪种处理器适合该处理器吗?