在AWS上访问VPC背后的独立Spark Master

Question

我有一个带有Spark History Server的Ambari群集，我还在主节点上启动了一个独立的Spark Master。整个设置在VPC后面的Amazon EC2集群上。

即我有两个公共和私人IP。

例如：公共IP：10.1.1.1私有IP：110.123.12.1

以下是/ etc / hosts文件

127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4 
::1          localhost localhost.localdomain localhost6 localhost6.localdomain6

10.1.1.1     hadoopmaster
110.123.12.1 hadoopmaster

现在，我无法使用公共IP启动Spark Standalone master。所以，我用私有IP启动了它。所以我可以在本地使用spark shell连接到master，如下所示：

spark-shell --master spark://110.123.12.1:7071 

这很好用。

但是，当我尝试从另一个框远程连接时，它会失败：

spark-shell --master spark://10.1.1.1:7071 

有人有解决方案吗？