我想连续运行spark应用程序(正在docker容器中运行)。当前,它在ec2实例中运行。
这是我期待实现的用例。
应用程序在频繁地从Kafka接收日志的过程中,因此,即使kafka也不将任何日志推送到应用程序,它也不应停止..并且应保持监听状态。
下面是我使用的火花提交
sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py
请让我知道如何实现此用例?
感谢帮助吗?