我正在尝试使用crontab安排spark工作,是的oozie是为此目的而做的,但是对于某些挑战无法使用它。
我已将脚本作为sh文件并在cron中执行。
的Cron:
/bin/sh /home/user/job.sh
job.sh
source /etc/hadoop/conf/hadoop.sh
source /hadoop/spark/conf/spark.sh
./sparksubmit .py file
获得以下错误:
An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.