如何设置spark-job-server配置？

Question

我正在从ooyala运行spark-job-server 0.5.3。我已经遵循他们的官方文档，并且当它由sbt使用reStart命令启动时它工作正常。但我不能

1. 使用server_start.sh脚本使其工作。

2. 无法在独立群集上运行它。现在没有关于如何在独立集群上运行作业服务器的明确文档。

它在本地[*] master bydefault上工作。

任何博客或正确文档的任何解决方案或链接都表示赞赏。

提前致谢。

Answer 1

此主要火花作业服务器项目的文档：github.com/spark-jobserver

• 将config / local.sh.template复制到.sh并编辑为
  适当。注意：如果需要，请务必设置SPARK_VERSION 编译不同的版本，即。 1.4.1 for job server 0.5.2
• 将config / shiro.ini.template复制到shiro.ini并根据需要进行编辑。 注意：仅在authentication = on
时需要
• 将config / local.conf.template复制到.conf并编辑为 适当。 bin / server_deploy.sh - 这打包了 作业服务器以及配置文件并将其推送到遥控器 已配置.sh
• 在远程服务器上，使用以下命令在已部署的目录中启动它 server_start.sh并使用server_stop.sh
停止它
• server_start.sh脚本使用引擎盖下的spark-submit 传递来自spark-submit的任何标准额外参数。

注意：默认情况下，使用来自job-server-extras的程序集jar，其中包括对SQLContext和HiveContext的支持。如果您遇到所有额外依赖项的问题，请考虑修改安装脚本以调用sbt job-server / assembly，而不包括额外的依赖项。