获取dask.distributed profiling时间信息?

时间:2017-12-13 16:05:17

标签: distributed dask

我正在使用dask.distributed来安排跨工人的多个工作。该文档显示了如何从Bokeh界面获取分析信息 here

它还显示可以获取调用client.profile()的原始配置文件信息。 但是,当我调用此方法时,分析信息似乎不包括进程的平均运行时间,而它存在于Boken接口中。有没有办法以原始形式检索它?

此外,profile.py在此处解释了配置文件信息的结构:

We represent this tree as a nested dictionary with the following form:

{
 'identifier': 'root',
 'description': 'A long description of the line of code being run.',
 'count': 10  # the number of times we have seen this line
 'children': {  # callers of this line. Recursive dicts
     'ident-b': {'description': ...
               'identifier': 'ident-a',
               'count': ...
               'children': {...}},
     'ident-b': {'description': ...
               'identifier': 'ident-b',
               'count': ...
               'children': {...}}}
}

这里没有提到时间信息。谢谢!

1 个答案:

答案 0 :(得分:1)

您应该将'count'的值与config.yaml文件中的profile-interval值进行比较。 profile-interval值以毫秒为单位,并确定我们对工作线程进行采样的频率。因此,如果profile-interval为10,并且您看到特定行的50个计数,则该行可能在大约500ms *线程中处于活动状态。