如何在关闭终端的同时在服务器上使用python运行我的dse spark应用程序?

时间:2016-02-23 08:04:22

标签: apache-spark pyspark datastax-enterprise

这是我的提交命令,我不知道如何在终端窗口关闭的情况下在后台运行它:

dse spark-submit --master spark:// master:7077 --executor-memory 2G --total-executor-cores 2 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4。 1 --jars /spark-streaming-kafka_2.10-1.4.1.jar /sparktest.py

2 个答案:

答案 0 :(得分:1)

您有几个选项,第一个是使用终端会话管理器,如https://tmux.github.io/https://www.gnu.org/software/screen/,这会在您断开连接时保持终端

另一种方法是在命令之前使用http://linux.die.net/man/1/nohup

答案 1 :(得分:1)

尝试添加'&'到命令结束:

spark-submit --master spark://master:7077 --executor-memory 2G --total-executor-cores 2 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 --jars /spark-streaming-kafka_2.10-1.4.1.jar /sparktest.py &