NiFi的PutHiveStreaming处理器无法从hive-site.xml

时间:2018-05-15 16:19:38

标签: properties hive apache-nifi

我想使用NiFi将数据插入到hive表中。

我见过的最好和最简单的选择是使用" PutHiveStreaming"处理器。我知道为了使用这个处理器需要满足的设置;其中一些是关于可以在表创建期间完成的hive表,一些是关于hive属性,例如:

  1. hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
  2. hive.compactor.initiator.on = true
  3. hive.compactor.worker.threads> 0
  4. 我已在$ HADOOP_HOME / conf目录的hive-site.xml中设置了这些属性,并在" Hive配置资源"下提供了该处理器的完整路径。但是,此处理器无法获取hive-site.xml中的这些属性。

    Configuration of PutHiveStreaming

    很遗憾,我们没有权限$ HIVE_HOME / conf或/ etc / hive / conf直接更改hive-site.xml。

    有人可以解释为什么给这个处理器的hive-site.xml属性没有被选中,以及在使用NiFi时可以解决覆盖hive属性的问题? ie:有没有办法为给定的流文件执行多个查询?

1 个答案:

答案 0 :(得分:0)

我认为这些是需要在HiveServer2实例上设置的服务器属性,而不是NiFi客户端。

同样仅供参考,如果您在1.2.0之前运行NiFi版本,则可能会遇到NIFI-3530。我不相信这是问题,而是您需要在HiveServer2实例使用的hive-site.xml文件中设置这些属性。