Dask Worker配置文件和Dask Scheduler配置文件的正确位置在哪里?

时间:2019-09-06 21:30:30

标签: dask dask-distributed

我试图找到Dask配置文件的正确位置。我有很多有关配置Dask的问题。

$ dask-worker --version
dask-worker, version 2.3.2

Dask Worker和Dask Scheduler是共享同一配置文件还是使用不同的配置文件?

我不清楚是否有特定于Dask Worker和Dask Scheduler的配置变量。是否有Dask Worker和Dask Scheduler的有效配置变量的列表?

Dask Worker和Dask Scheduler配置文件的正确位置在哪里?

我在系统和Dask文档中发现了三个不同的配置文件:

  1. ~/.config/dask/distributed.yaml
  2. ~/.config/dask/dask.yaml
  3. ~/.dask/config.yaml

在我的Dask Worker和Dask Scheduler计算机上,我发现位于~/.config/dask/dask.yaml的文件,该文件包含的信息不多。我不确定该文件应该放入什么文件,或者Dask库是否曾在何处调用它。

我还看到位于~/.config/dask/distributed.yaml的文件,其中包含更多信息。这看起来更像我期望的配置。我可以看到Dask在distributed/config.py

中也加载了这些配置

第三个文件(~/.dask/config.yaml)出现在documentation中。引用文档:

  

Dask在配置文件中接受一些配置选项,默认情况下,该文件是位于主目录中的.dask / config.yaml文件。

我在系统上看不到该文件。我负责创建此配置文件吗?我从未在存储库中看到该文件的引用。为什么文档与源代码不同?

我可以同时打印Worker和Scheduler的所有活动配置变量的列表吗?

在命令行或Python中,有没有一种方法可以检查活动配置?

1 个答案:

答案 0 :(得分:1)

有关Dask的配置系统的文档,请参见https://docs.dask.org/en/latest/configuration.html

该页面上显示:

通过以下方式之一指定配置:

    ~/.config/dask//etc/dask/中的
  • YAML文件
  • DASK_DISTRIBUTED__SCHEDULER__WORK_STEALING=True之类的环境变量
  • 子库中的默认设置

我已删除您在此PR中查看的页面:https://github.com/dask/distributed/pull/3038