按列拆分CSV大文件

时间:2018-11-28 14:54:16

标签: csv split large-files

我有一个很大的(4gb)csv文件。无法在excel或其他编辑器中打开。行(行)数接近3,000,列数接近320,000。

一种解决方案是将原始文件拆分为较小的文件,并能够在Excel或其他编辑器中打开这些较小的文件。

第二种解决方案是对原始数据进行转置,然后在Excel中打开它。

我找不到用于转置的工具或脚本。我已经找到了一些用于拆分的脚本和免费软件,但每个脚本和免费软件都按行大小拆分了csv。

有没有一种方法可以将原始文件拆分为较小的文件,最多包含15000行。

我尝试使用:

将熊猫作为pd导入 pd.read_csv(%file Path%)。T.to_csv('%new File Path%,headre = false)

但是要花很多时间才能完成

1 个答案:

答案 0 :(得分:0)

同时,我厌倦了使用一些python编码,但是由于内存问题,所有这些都失败了。

定界(http://www.delimitware.com/)的试用版完美地处理了数据。