Hadoop文件上载过程内部工作

Question

我目前遇到的问题是，当从群集中的任何节点运行客户端时，我可以将文件上传到HDFS，但在从本地计算机运行客户端时无法执行相同的操作（即使我可以做一些事情，比如从我当地的客户端运行ls。我很确定这是一个端口问题，但是这个较小的问题让我觉得我想知道当我尝试上传文件时，我的客户端计算机，namenode和datanode之间究竟发生了什么通信。那么，任何人都可以启发我吗？在什么端口，哪些端口以及哪些计算机之间会发生什么？

Answer 1

这是一个EC2问题，我将把namenode返回的Datanode EC2私有IP发送给所有客户端，无论他们是在EC2还是在我们的专用网络上。那些ips显然不适用于EC2之外的客户端，因此任何涉及datanode并从EC2外部受到攻击的操作都会搞砸。我从来没有找到一个很好的解决方案，只是决定让人们从EC2内部查询。