达斯工人似乎已死,但找不到工人日志以找出原因

时间:2019-08-23 00:00:35

标签: python dask

我在本地计算机上运行了一段DASK代码,该代码可在90%的时间内工作,但有时会卡住。卡住了。没有崩溃,没有错误打印出来的不是CPU的使用情况。永远不会结束。

我在Google上搜索,认为可能是由于一些工人死亡。如果我可以看到工作人员日志并弄清楚原因,那将非常有用。 但是我找不到我的工作日志。我去编辑config.yaml以添加日志记录,但仍然看不到stderr。 然后我转到信息中心->信息->日志,然后看到空白页。

卡住的代码是 X_test = df_test.to_dask_array(lengths = True) 要么 proba = y_pred_proba_train [:, 1] .compute()

和我的〜/ .config / dask / config.yaml或〜.dask / config.yaml看起来像 记录:   分布式:信息   分布式客户端:警告   分布式工作人员:调试   散景:错误

我正在使用 python 3.6 达人1.1.4 我所需要的只是一种查看日志的方式,以便我可以尝试找出问题所在。

谢谢

约瑟夫

1 个答案:

答案 0 :(得分:0)

工作日志通常由用于设置Dask的任何系统管理。

也许您使用过Kubernetes或Yarn或SLURM之类的东西?

这些系统都有获取日志的方法。

不幸的是,一旦Dask工人不再运行,Dask本身就无法为您收集日志。您需要使用用于启动Dask的系统。