因此,我有一个非常大的CSV,大小接近10GB。 我想读一读,并做一些数据科学工作。 在我公司的笔记本电脑上,这很好用。数据被读入,我可以做任何我想做的事情。 由于算法的复杂性和数据的大小,尽管这是一台非常现代的i7 16GB计算机,但在我的公司笔记本电脑上花费了相当长的时间。
我认为台式机的运行速度要快得多,因为它有8个内核和16个线程,还有16GB的内存,但最重要的是:我公司的笔记本电脑没有的专用GPU。 但是,当我在桌面上运行完全相同的脚本时,它不起作用!令人沮丧的是:我没有收到任何错误消息,它似乎什么也没做。
我尝试过的事情:
以上方法均无济于事。 谁得到了这个神奇的答案?
float_data = pd.read_csv("../train10.csv", encoding="utf-8", sep=',', dtype={"signal": np.float32, "seconds": np.float32})
float_data = float_data.values
print("Data loaded")
答案 0 :(得分:1)
实际上,我已修复它。我注意到调试功能无法正常运行,然后发现我的python配置不正确。现在它可以读取我的数据了。结案了。