我在本地计算机上运行了一段DASK代码,该代码可在90%的时间内工作,但有时会卡住。卡住了。没有崩溃,没有错误打印出来的不是CPU的使用情况。永远不会结束。
我在Google上搜索,认为可能是由于一些工人死亡。如果我可以看到工作人员日志并弄清楚原因,那将非常有用。 但是我找不到我的工作日志。我去编辑config.yaml以添加日志记录,但仍然看不到stderr。 然后我转到信息中心->信息->日志,然后看到空白页。
卡住的代码是 X_test = df_test.to_dask_array(lengths = True) 要么 proba = y_pred_proba_train [:, 1] .compute()
和我的〜/ .config / dask / config.yaml或〜.dask / config.yaml看起来像 记录: 分布式:信息 分布式客户端:警告 分布式工作人员:调试 散景:错误
我正在使用 python 3.6 达人1.1.4 我所需要的只是一种查看日志的方式,以便我可以尝试找出问题所在。
谢谢
约瑟夫
答案 0 :(得分:0)
工作日志通常由用于设置Dask的任何系统管理。
也许您使用过Kubernetes或Yarn或SLURM之类的东西?
这些系统都有获取日志的方法。
不幸的是,一旦Dask工人不再运行,Dask本身就无法为您收集日志。您需要使用用于启动Dask的系统。