我们将火花流作业长时间保持运行(假设几个月),仅当我们要应用新更改时才重新启动作业。 由于这些作业运行了几个月,日志被累积,并导致数据节点进入不正常状态。 为了避免出现不健康的问题,我们将日志级别保持在最低水平,但这使调试变得很困难。
我遇到了spark中的选项来提供rolling.logs,然后在属性文件中定义了以下属性。 ... spark.executor.logs.rolling.strategy =时间 spark.executor.logs.rolling.time.interval =分钟 ...
并在spark提交命令中 spark-submit --properties-file path_to_properties_file.properties .... <>
但是我仍然看不到正在创建滚动日志文件。
请帮助按照定义的属性滚动日志文件。