如何使用crontab计划spark作业

时间:2016-08-04 17:05:25

标签: apache-spark pyspark

我正在尝试使用crontab安排spark工作,是的oozie是为此目的而做的,但是对于某些挑战无法使用它。

我已将脚本作为sh文件并在cron中执行。

的Cron:

/bin/sh /home/user/job.sh

job.sh

source /etc/hadoop/conf/hadoop.sh
source /hadoop/spark/conf/spark.sh
./sparksubmit .py file

获得以下错误:

An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.

0 个答案:

没有答案