是否必须从ADF管道传递SparkConf参数以反映在Spark作业中

Question

我们在MS Azure ADF中使用自定义活动并配置Spark作业。 我们在代码中设置了所有SparkConf参数，如下所示：

.set("spark.app.name","SparkAppForStudent")
.set("spark.streaming.driver.writeAheadLog.allowBatching", "true")
.set("spark.streaming.driver.writeAheadLog.batchingTimeout", "60000")
.set("spark.streaming.receiver.writeAheadLog.enable", "true")

这些参数未反映在Spark作业中。 我们是否需要从ADF管道明确传递SparkConf参数，如下所示 反思Spark工作？

 "sparkConfig": {
     "spark.app.name": "SparkAppForStudent"
 }

由于