Question

我正在尝试将文本文件导出到csv中。该文件非常大（160万行）制表符分隔文件。当我使用to_csv导出文件时，它只导出1048576行。 to_csv将导出最大行数吗？

我应该以不同的方式导出数据吗？我真的希望能够把它变成一个csv。

这是我的代码示例。

import pandas as pd
import numpy as np
import os

from pandas import Series, DataFrame

pathDataEDM = "C:/Users/FILE.txt"

dataEDM = pd.read_csv(pathDataEDM, sep="\t")

dataEDM.to_csv(os.path.join(ExportDir),index=False)

Answer 1

我认为没有最大值（因为它没有记录，160万是最低的）。

您可以尝试指定以下可选参数（请参阅docs）：

chunksize ： int或None   一次写入的行

压缩：字符串，可选   表示要在输出文件中使用的压缩的字符串，   允许值为‘gzip’, ‘bz2’, ‘xz’，仅在第一个时使用   参数是文件名

Answer 2

熊猫没有限制。但是，用于打开 csv 文件的大多数工具（如 LibreOffice calc 或 excel）最多只能显示 1048576 行。为了证明这一点，请尝试 print(df)，pandas 将显示所有 160 万行

Python Pandas to_csv是否有最大行数？

2 个答案: