我尝试将apache zeppelin与EMR(Spark)群集一起使用。我对打开防火墙使用apache zeppelin + EMR集群有一些要求。在工作场所,有防火墙阻止的静态IP。如你所知, 每次使用aws cli命令创建时,EMR群集都应更改其IP和DNS名称。那么你知道如何使用固定IP连接apache zeppelin服务器(EC2实例)和EMR集群吗? 提前谢谢。
答案 0 :(得分:0)
我完全不理解你的问题。让我试着回答这一部分问题:"那么你知道如何使用固定IP连接apache zeppelin服务器(EC2实例)和EMR集群吗?"
这应该可以通过附加弹性ip与EMR集群来实现。掌握使用:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-commands.html#elastic-ip。
您还可以尝试qubole的托管群集并支持spark + zeppelin。 Qubole通过为您提供访问zeppelin笔记本电脑的固定终点来解决这个问题。
免责声明:我为Qubole工作
答案 1 :(得分:0)
最后,我成功地使用socat解决了这个问题或要求。
socat TCP-LISTEN:8080,fork TCP:$EMR_CLUSTER_NAME:8080
socat TCP-LISTEN:8081,fork TCP:$EMR_CLUSTER_NAME:8081
同时检查我修改了一些代码并使用socat而不是使用ssh隧道的脚本(install-apache-zeppelin-on-amazon-emr.sh)。