在Spark Shell中安排Spark工作

Question

我有一个在spark-shell中运行的spark-scala脚本

spark2-shell -i test.scala

工作正常。关于如何安排该脚本每小时运行的任何建议都可能会有所帮助。

Answer 1

实际上，这与火花无关，因为没有内置的机制。

您实际上可以考虑使用像这样的cron

0 * * * * spark2-shell -i test.scala

或者您可能还想使用oozie，它有点复杂，但是如果您要运行很多火花工作，则维护起来会容易得多

https://oozie.apache.org/docs/3.1.3-incubating/index.html