Question

我正在运行一个运行while循环2小时的PySpark脚本。我希望能够安排这个过夜。

我键入这两行以运行代码。在ssh进入服务器后，我输入：

docker exec -it r-hadoop-spark-yarn-spark-master-1-085ae410 bash

这会将我带到Docker中的工作目录，然后输入：

nohup /opt/spark-2.0.2/bin/spark-submit --master spark://hadoop-spark-yarn-spark-master-1:7077 --executor-memory 8G bm_plog_hdfs.py &> SparkPLOG.out &

运行脚本（如果一切顺利）。

我尝试插入这两行，没有'bash'到脚本中并使用'at'安排它，但它似乎没有运行。

Answer 1

运行：

，使用-d尝试解除启用模式

  docker exec -d r-hadoop-spark-yarn-spark-master-1-085ae410 bash -c "nohup /opt/spark-2.0.2/bin/spark-submit --master spark://hadoop-spark-yarn-spark-master-1:7077 --executor-memory 8G bm_plog_hdfs.py &> SparkPLOG.out &"

使用linux“at”函数

1 个答案: