熊猫无法在台式机上阅读我的csv,可以在笔记本电脑上正常工作

时间:2019-01-23 10:33:36

标签: python pandas

因此,我有一个非常大的CSV,大小接近10GB。 我想读一读,并做一些数据科学工作。 在我公司的笔记本电脑上,这很好用。数据被读入,我可以做任何我想做的事情。 由于算法的复杂性和数据的大小,尽管这是一台非常现代的i7 16GB计算机,但在我的公司笔记本电脑上花费了相当长的时间。

我认为台式机的运行速度要快得多,因为它有8个内核和16个线程,还有16GB的内存,但最重要的是:我公司的笔记本电脑没有的专用GPU。 但是,当我在桌面上运行完全相同的脚本时,它不起作用!令人沮丧的是:我没有收到任何错误消息,它似乎什么也没做。

我尝试过的事情:

  • 读取数据后在代码中包含一条打印语句,所以我知道何时读取csv。
  • 仅读取10行数据。这样做可以在大型数据集上运行很长时间。
  • 将数据集另存为utf-8,并告诉熊猫将数据集另存为utf-8。
  • 让它运行大约4-5个小时

以上方法均无济于事。 谁得到了这个神奇的答案?

float_data = pd.read_csv("../train10.csv", encoding="utf-8", sep=',', dtype={"signal": np.float32, "seconds": np.float32})

float_data = float_data.values
print("Data loaded")

1 个答案:

答案 0 :(得分:1)

实际上,我已修复它。我注意到调试功能无法正常运行,然后发现我的python配置不正确。现在它可以读取我的数据了。结案了。