有没有办法控制Dask-YARN日志的详细程度？

Question

我正在YARN群集上运行Dask-Yarn作业。应用程序完成后，我使用YARN CLI及其ID如下检索完成的应用程序的日志，

yarn logs -applicationID {application_id} > out.log

out.log的大小以MB为单位。打开此文件后，我看到许多行专用于列出目录内容，标题为LogType:directory.info，它占用了大量行/空间。另外，还有一堆环境变量设置。有没有一种方法可以通过Dask或Yarn控制这些日志的详细程度，并将其限制为仅来自工人评估的日志？

Answer 1

我能够限制使用，

yarn logs -applicationId {application_id} -log_files dask.worker.log

匹配仅Dask工作人员的日志。