带有AWS EC2实例的Hadoop HDFS DNS配置

Question

我一直在寻找一种方法来创建简单的小型远程HDFS系统，以进行概念验证。

目前有很多指南可用于使用AWS EC2实例创建HDFS系统。

Example HDFS guide using AWS EC2 instances

这些都满足了能够从主节点/名称节点写入HDFS的要求，但是，当尝试从远程客户端进行写入时，我似乎找不到任何HDFS安装示例。此处存在一个问题，即当向外部客户端提供数据节点时，指南提供的HDFS配置导致使用AWS内部私有DNS的名称节点时。结果，我看到与以下内容一致的错误：

HDFS error: could only be replicated to 0 nodes, instead of 1

但是，无论主机名是什么排列（公共或私有DNS或简称），/ etc / hosts或hdfs-site.xml属性的排列，我都无法使用任何推荐的解决方案，如以下所示： / p>

Example of suggested solution

Another example of suggested solution

此问题的通常测试是尝试通过Web前端下载位于HDFS上的测试文件，该问题可以清楚地看作是为文件下载生成的AWS私有DNS URL。

我一直在使用Hadoop HDFS的2.7.1版本。

我想知道我试图实现的目标是否可行，或者我是否应该在寻找一种更成熟的HDFS产品，而不是尝试构建自己的定制产品？