如何使用apache NiFi将csv或JSON文件存储到hive？

Question

我注意到nifi中没有可以直接将文件存储到配置单元中的处理器。是否有任何处理器组合可以帮助解决这个问题，或者有没有可以做到的模板？

感谢。

Answer 1

在NiFi（0.7.0）的下一个版本中，将会有一些用于与Hive交互的初始处理器。其中一个是PutHiveQL，它可以将带有Hive QL语句的流文件作为内容，并使用hive JDBC驱动程序执行它。

csv或json的可能流程是首先将数据解析为构造insert语句所需的值，可能使用ExtractText或EvaluateJsonPath，然后使用ReplaceText和表达式语言构造insert语句。

没有Hive处理器的另一种常见方法是使用PutHDFS处理器将数据存储到HDFS中的目录，然后在其上创建一个外部Hive表。