在Dask.distributed中使用client.scatter(df)时引发异常

时间:2019-02-21 22:11:40

标签: dask dask-distributed

我正在使用稳定/ dask存储库中的Helm Chart在Kubernetes上与Dask合作。使用分布式客户端并调用client.scatter(ddf)时,出现如下异常:

异常:没有名为“ pandas.core.internals.managers”的模块; 'pandas.core.internals'不是一个包

对已安装软件包的检查显示在Python 3.7上Pandas == 0.24.1和dask-core == 1.1.1。

查看工作人员的内存消耗,表明没有任何内容发送给工作人员,当我添加关键字=“ broadcast”时,我可以观察到第二个工作人员的内存使用量短期上升,但随后我收到上面引用的错误。

关于我在做什么错的任何建议,或者这是Dask / Pandas的问题?

谢谢。

1 个答案:

答案 0 :(得分:0)

我的猜测是,您在不同计算机上安装的Pandas版本不同。您可以使用以下命令进行检查。

client.get_versions(check=True)