数据帧比较慢

时间:2017-08-17 04:44:38

标签: python performance pandas dataframe

我有效率问题。

我在mac上写了一个项目并运行良好。然后我运行完全相同的文件并在Windows系统上输入完全相同的数据,但它非常慢。

经过一些实验,我发现瓶颈是有线的:

    A = B==C

B和C都是巨大的DataFrame。 B和C具有相同的形状,索引和列。 A由B和C的比较填充布尔值。

让我感到困惑的是它在Mac上运行得很好而且速度很快但在Windows上却很慢。即使我不认为问题出在CPU或python版本上,我仍然会提供这些信息,并希望有人能给我一些提示。

    python version on windows:
    3.6.1 |Anaconda 4.4.0 (64-bit)| (default, May 11 2017, 13:25:24) [MSC v.1900 64 bit (AMD64)]

    python version on mac:
    3.6.0 |Anaconda custom (x86_64)| (default, Dec 23 2016, 13:19:00) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] 

更新

经过更多的研究,我发现问题出在spyder Idle上。我在默认的空闲状态下运行文件,性能和mac一样好,但是当我通过spyer运行它(或者可能是Ipython?)时,问题就出现了。这个发现让我更加困惑,因为我也通过spyder在mac上运行了这个文件,没有这个问题。我不知道这些信息是否可以帮助你找出问题所在。

0 个答案:

没有答案