将文件从FTP下载到亚马逊EMR

Question

我需要将文件从FTP服务器下载到amazon EMR，我有一个shell脚本来下载文件但是它在linux机器上工作，而不是在amazon EMR namenode中。我没有收到任何错误，终端在运行shell脚本后没有显示任何内容。

注意：我在主安全组上启用了端口。我知道另一种方法将FTP下载到s3然后下载亚马逊EMR，但我需要将文件直接下载到Amazon EMR。

Answer 1

我假设您已尝试使用引导脚本将文件从FTP服务器下载到amazon EMR。

调试什么是错误的。你可以在它们启动时连接到主节点/从节点并看到脚本运行良好吗？如果脚本没有运行，这可以帮助。

调试的其他方法是，一旦启动节点，尝试在EMR节点上手动运行脚本，看看它们是否会引发一些错误。

希望这将有助于调试脚本未运行的原因。