Question

任何人都可以向我推荐一个关于spark-jobserver的更好的文档。我已经浏览了网址spark-jobserver，但无法遵循相同的规定。如果有人解释如何使用spark-jobserver，那将会很棒。

用于构建项目的工具。

sbt launcher version 0.13.5
Scala代码运行器版本2.11.6

使用上述工具，我在构建spark-jobserver时遇到错误。

Answer 1

作业服务器仓库中提供的文档确实令人困惑。

以下是我在本地计算机上手动构建和运行Spark Job Server的步骤。

1. git clone https://github.com/spark-jobserver/spark-jobserver
2. sudo mkdir -p /var/log/job-server
3. sudo chown user1:user1 /var/log/job-server
4. cd spark-jobserver
5. sbt job-server/assembly
6. cd config
7. cp local.sh.template abc.sh  # Note that the same name 'abc' is used in steps 8 and 10 as well
8. cp ec2.conf.template abc.conf
9. cd .. # The jobserver root dir
10. ./bin/server_package.sh abc # This script copies the files and packages necessary to run job server into a single dir [ default - /tmp/job-server]
11. cd /tmp/job-server [This is where the files and packages necessary to run job server are published by default]
12. ./server_start.sh
13. Run ./server_stop.sh to stop the server

希望这有帮助

Answer 2

以下是我以前安装的步骤：

克隆jobserver repo。
使用wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.8/sbt-0.13.8.tgz
移动＆＃34; sbt-launch.jar＆＃34;在sbt / bin到/ bin
创建脚本/ bin / sbt，找到内容here，确保在必要时将指针更改为java
使上述脚本可执行
现在进入spark jobserver目录，然后运行sbt publish-local
假设上述内容成功，请在同一目录中运行sbt
最后，使用命令re-start，如果成功，则服务器现在正在运行！

使用SBT和Scala构建spark-jobserver

2 个答案: