如何连续运行docker spark应用程序?

时间:2020-09-01 09:52:07

标签: linux docker apache-spark pyspark spark-submit

我想连续运行spark应用程序(正在docker容器中运行)。当前,它在ec2实例中运行。

这是我期待实现的用例。

应用程序在频繁地从Kafka接收日志的过程中,因此,即使kafka也不将任何日志推送到应用程序,它也不应停止..并且应保持监听状态。

下面是我使用的火花提交


sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py

请让我知道如何实现此用例?

感谢帮助吗?

0 个答案:

没有答案