Sparkconf和Sparkcontext有什么区别？

Question

制作pyspark时遇到Import Pyspark from Sparkcontext的问题，但是我发现它也可以从sparkconf导入，我问这两个spark类之间有什么区别库。

Answer 1

Sparkcontext是Spark环境的入口点。对于每个sparkapp，您都需要创建sparkcontext对象。在spark 2中，可以使用sparksession代替sparkcontext。

Sparkconf是可为您提供提供配置参数的各种选项的类。

Val Conf = new sparkConf().setMaster(“local[*]”).setAppName(“test”)
Val SC  = new sparkContext(Conf)

spark配置传递到spark上下文。您还可以在sparkconf中设置不同的应用程序配置，然后传递给sparkcontex