我可以在创建流应用程序(see here)
时看到如何配置SparkConf我假设我可以通过SnappyStreamingContext为类似于流应用程序的流式作业配置SparkConf。让我们说我在流媒体作业中获得SparkConf的句柄并修改一些设置。这些设置仅适用于此流式传输作业,还是所有作业的全局配置更新?
谢谢!
答案 0 :(得分:1)
是的,您可以通过SnappyStreamingContext为流作业配置SparkConf,它与spark流配置相同。由于SparkConf是全局配置,因此它适用于流应用程序中的所有作业。我认为Spark并不允许您在启动应用程序后更改SparkConf。