如何使用oozie将文件从本地复制到hdfs

Question

我正在尝试使用oozie将文件从边缘节点复制到HDFS。许多人建议设置密码少ssh来完成这项工作。

我无法登录oozie用户，因为它是服务用户。

除了密码减去ssh之外还有其他方法。

提前致谢。

Answer 1

除了密码少ssh之外，还有两个选项： 1.我的首选选项：使用JSch java库并创建一个java应用程序，它将接受一个shell脚本作为参数执行。使用JSch，它将在配置的边缘节点上执行ssh并在边缘节点上执行shell脚本。在jsch中，您可以配置edgenode用户名和密码。使用“JCEKS”文件存储密码。 然后在Oozie中添加Java Action以运行使用JSch创建的Java应用程序。 2.使用“/ usr / bin / expect”库创建一个shell脚本，该脚本将在edgenode上执行ssh，然后运行配置的shell脚本。更多详情请访问Use expect in bash script to provide password to SSH command