在大型数据集上分析Python

时间:2015-01-29 08:24:35

标签: python-2.7 profiling cython

我有一个包含3条Mio线的数据集。处理函数是cython化的。当我在10000行的小子样本上进行整个处理时,处理时间约为1.5分钟,30000行的子样本处理时间为3分钟。但是,当我在10小时后处理整个数据集时,只处理了1/4的数据集,尽管我希望处理时间最长。 5个小时。我正在运行Ubuntu 14.04 64位和Anaconda 64位。 RAM使用率为50%。在一段时间不活动后,我停用了导航登录,性能保持不变。不活动后切换屏幕不会影响执行时间。还有什么可能是这种意外缓慢执行的原因?

0 个答案:

没有答案