控制Spark流式传输作业中的日志大小

Question

我们在HDInsight Spark群集（纱线模式）中运行了Spark流媒体作业，我们看到流媒体作业在几周后停止，原因是由于日志量导致磁盘空间不足。

有没有办法为Spark流媒体作业设置日志大小限制并启用滚动日志？我已尝试在代码中设置以下spark执行器日志属性，但此设置似乎没有被尊重。

val sparkConfiguration: SparkConf = EventHubsUtils.initializeSparkStreamingConfigurations

sparkConfiguration.set("spark.executor.logs.rolling.maxRetainedFiles", "2")
sparkConfiguration.set("spark.executor.logs.rolling.maxSize", "107374182")

val spark = SparkSession
                     .builder
                     .config(sparkConfiguration)
                     .getOrCreate()