我试图找到Dask配置文件的正确位置。我有很多有关配置Dask的问题。
$ dask-worker --version
dask-worker, version 2.3.2
Dask Worker和Dask Scheduler是共享同一配置文件还是使用不同的配置文件?
我不清楚是否有特定于Dask Worker和Dask Scheduler的配置变量。是否有Dask Worker和Dask Scheduler的有效配置变量的列表?
Dask Worker和Dask Scheduler配置文件的正确位置在哪里?
我在系统和Dask文档中发现了三个不同的配置文件:
~/.config/dask/distributed.yaml
~/.config/dask/dask.yaml
~/.dask/config.yaml
在我的Dask Worker和Dask Scheduler计算机上,我发现位于~/.config/dask/dask.yaml
的文件,该文件包含的信息不多。我不确定该文件应该放入什么文件,或者Dask库是否曾在何处调用它。
我还看到位于~/.config/dask/distributed.yaml
的文件,其中包含更多信息。这看起来更像我期望的配置。我可以看到Dask在distributed/config.py
第三个文件(~/.dask/config.yaml
)出现在documentation中。引用文档:
Dask在配置文件中接受一些配置选项,默认情况下,该文件是位于主目录中的.dask / config.yaml文件。
我在系统上看不到该文件。我负责创建此配置文件吗?我从未在存储库中看到该文件的引用。为什么文档与源代码不同?
我可以同时打印Worker和Scheduler的所有活动配置变量的列表吗?
在命令行或Python中,有没有一种方法可以检查活动配置?
答案 0 :(得分:1)
有关Dask的配置系统的文档,请参见https://docs.dask.org/en/latest/configuration.html
该页面上显示:
通过以下方式之一指定配置:
~/.config/dask/
或/etc/dask/
中的DASK_DISTRIBUTED__SCHEDULER__WORK_STEALING=True
之类的环境变量我已删除您在此PR中查看的页面:https://github.com/dask/distributed/pull/3038