Apache Spark和Livy群集

Question

场景：

• 我有火花簇，并且
  我也想使用Livy 。
• 我对Livy陌生

问题：

• 我建造了 使用docker swarm和
  创建我的Spark集群，我还将创建一个 为Livy服务。

• Livy可以与外部Spark Master进行通讯吗？ 将工作发送给外部Spark Master？
  如果可以的话，哪种配置 需要做吗？
  还是应该在Spark主节点上安装Livy？

Answer 1

我认为有点晚了，但是希望对您有所帮助。

抱歉，我是英语，但我是墨西哥人，您可以使用docker通过livy发送作业，也可以使用livy发送抛出Livy REST API的作业。

livy服务器可以在spark群集之外，您只需要发送一个conf文件以指向livy即可指向您的spark群集。

看起来您正在独立运行spark，配置livy正常工作的简便方法是livy驻留在spark主节点上，如果您的群集计算机上已经装有YARN，则可以在任何节点上安装livy并在yarn中运行spark应用程序-cluster或yarn-client模式。