我想使用NiFi将数据插入到hive表中。
我见过的最好和最简单的选择是使用" PutHiveStreaming"处理器。我知道为了使用这个处理器需要满足的设置;其中一些是关于可以在表创建期间完成的hive表,一些是关于hive属性,例如:
我已在$ HADOOP_HOME / conf目录的hive-site.xml中设置了这些属性,并在" Hive配置资源"下提供了该处理器的完整路径。但是,此处理器无法获取hive-site.xml中的这些属性。
Configuration of PutHiveStreaming
很遗憾,我们没有权限$ HIVE_HOME / conf或/ etc / hive / conf直接更改hive-site.xml。
有人可以解释为什么给这个处理器的hive-site.xml属性没有被选中,以及在使用NiFi时可以解决覆盖hive属性的问题? ie:有没有办法为给定的流文件执行多个查询?
答案 0 :(得分:0)
我认为这些是需要在HiveServer2实例上设置的服务器属性,而不是NiFi客户端。
同样仅供参考,如果您在1.2.0之前运行NiFi版本,则可能会遇到NIFI-3530。我不相信这是问题,而是您需要在HiveServer2实例使用的hive-site.xml文件中设置这些属性。