更改Spark Streaming应用程序的应用程序参数

时间:2019-04-18 08:51:56

标签: apache-spark pyspark spark-streaming

我有一个使用PySpark实现的Spark Streaming应用程序。我没有使用结构化流,而是使用普通流(DStream),因为我需要使用foreachRDD函数。在foreachRDD中,我正在调用数据库。

所以这是我的问题:我想更改一些与对外部数据库的调用相关的参数(即超时,主机名等)。我可以在不删除检查点目录的情况下执行此操作吗?当前,当我终止Spark Streaming,更改代码并将应用程序重新提交到集群时,它仅使用旧参数。 类似地:设置这些参数的最佳方法是什么?目前,我在代码中设置了它们。我从未尝试将argparse与流一起使用。这里的最佳做法是什么?

我看到有很多问题可以解决这个问题,但是我找不到与非火花(环境)参数有关的问题,尤其是在PySpark上。

非常感谢您的帮助!

0 个答案:

没有答案