熊猫的平行化是否存在任何精度问题?

时间:2019-07-16 08:07:16

标签: python python-3.x pandas dataframe python-multiprocessing

我正在尝试在64位体系结构系统中使用 multiprocessing 模块的 Pool 并行处理大数据帧的处理。我使用np.array_split()拆分了一个数据框,称为apply(),并比较了结果数据框-一个来自批处理,另一个来自并行处理。 而且我发现这两个数据帧之间有些区别。

我对DataFrame.mean(),DataFrame.median(),DataFrame.std()和其他lambda函数进行了测试,但仅对DataFrame.std()进行了测试,我发现其中的差别很小。

差异规模约为10 ^ -13。将多处理模块池用于DataFrame.std()时,浮点精度是否存在任何已知问题?

0 个答案:

没有答案