从HDF群集独立迁移到nifi

时间:2019-06-05 23:25:52

标签: apache-nifi

我将对我遇到的问题发表评论。

几年前,在我工作的公司中,他们决定实施nifi。 问题在于,他们实施了完整的HDF解决方案,仅使用nifi确实没有必要。 运气好的话,Ambari界面可用于重新启动服务

我目前正在将由3个群集节点组成的nifi迁移到dockerized nifi独立服务器上(由于只执行小任务并且浪费了资源,因此这也是不必要的)。

此过程以前是使用流量较小的nifi成功完成的。 所执行的过程仅仅是导出流程模板并将其导入,然后在nifi.properties中添加正确的密钥以能够使用控制器服务。

我发现自己试图执行相同的步骤但没有成功。 该流已正确导入,但是我无法通过向nifi.properties中添加正确的密钥来可视化已加载的控制器服务。

尝试从控制器服务中提取密钥以手动加载,该密钥显示为“敏感值”,但我不能这样做。

作为第二个选项,复制要迁移的服务器的flow.xml.gz,使用文本编辑器(例如文件路径,驱动程序等)编辑某些字段,显然我对此做得更好; 我有几个错误,其中我必须添加驱动程序(jdbc,hive等)。我正在逐步纠正小问题。

真的有任何正确的方法来迁移它吗? 因为无法在nifi.properties文件中正确输入密码,所以我看不到控制器服务? HDF还有其他配置文件吗?

作为额外的数据,使用的dockerized nifi版本为1.2.0,当前具有HDF的nifi版本为1.1.0。显然,没有可能会影响的重大变化。

感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

flow.xml.gz文件中的敏感属性使用从nifi.sensitive.props.key中的nifi.properties条目派生的密钥加密。如果此值本身是加密的(即,其格式为abcdef...||abcdef...),则还需要从nifi.bootstrap.sensitive.key复制bootstrap.conf值。使用这两个值(并使用与nifi.sensitive.props.algorithm中的nifi.properties中指定的KDF和加密相同的算法),新的NiFi实例应该能够解密敏感的 processor 属性它们以加密形式嵌入flow.xml.gz中。