在处理Kerberos和pySpark配置的同时,使用crontab自动化脚本

时间:2019-01-21 09:05:19

标签: bash apache-spark cron kerberos

我觉得这是一个非常基本的crontab作业,我希望它运行一个脚本,该脚本将在安装了kerberos的票证后执行python进程:

00 21 * * * source /opt/shareddir/.../bashrc_comun; /apps/users/username/script.sh >> logs/$(date +'\%Y\%m\%d').log 2>&1

最初,这行是:

30 21 * * 2 cd /apps/users/ && bash --login script.sh >> logs/name_$(date +'\%Y\%m\%d').log 2>&1

此行当前正在为另一位用户使用,我对其进行了更改,因为尝试使用该行会失败

脚本内容:

#!/bin/bash
now=$(date +"%m_%d_%Y")
kinit $USER@machine -kt ~/$USER.keytab
echo "-------------------------- $now ------------------------------"
python /apps/users/myuser/dir/python.py

由于该失败,我试图指定使用熊猫,Spark版本等正确配置了哪个bash_profile目录,因为我感觉由于库而导致失败,我唯一能想到的原因是如果使用错误的路径。

我还想指出的是,在出现库和错误的第一天之后,我觉得我已经正确配置了keytab,现在无论它的版本是什么,它都不会在屏幕或日志目录上显示错误。我尝试工作的时间表。

要添加到该行上,如果我将该行复制并粘贴到我的终端中,它将起作用。我猜这是因为“我”是用我自己的kerberos票登录的,所以它与从crontab启动不同,但是正如我所说,我可以在终端上使用多个版本,但是当我尝试使用它们时在cron上没有任何作用。

0 个答案:

没有答案