使用Pandas读取空格分隔的数据

时间:2014-04-02 10:48:27

标签: python pandas

我以前用numpy.loadtxt()读取数据。但是,最近我在SO中发现pandas.read_csv()更快。

要阅读这些数据,请使用:

pd.read_csv(filename, sep=' ',header=None)

我现在遇到的问题是,在我的情况下,分隔符可以与一个空格不同, x 空格甚至是一个标签。

这里我的数据如何:

56.00     101.85 52.40 101.85 56.000000 101.850000 1
56.00 100.74 50.60 100.74 56.000000 100.740000 2
56.00 100.74 52.10 100.74 56.000000 100.740000 3
56.00 102.96 52.40 102.96 56.000000 102.960000 4
56.00 100.74 55.40 100.74 56.000000 100.740000 5

这会产生如下结果:

     0       1     2       3     4       5   6       7   8
0   56     NaN   NaN  101.85  52.4  101.85  56  101.85   1
1   56  100.74  50.6  100.74  56.0  100.74   2     NaN NaN
2   56  100.74  52.1  100.74  56.0  100.74   3     NaN NaN
3   56  102.96  52.4  102.96  56.0  102.96   4     NaN NaN
4   56  100.74  55.4  100.74  56.0  100.74   5     NaN NaN

我必须指定我的数据> 100 MB。所以我不能预处理数据或先清理它们。 任何想法如何解决这个问题?

1 个答案:

答案 0 :(得分:20)

你原来的一行:

pd.read_csv(filename, sep=' ',header=None)

将分隔符指定为单个空格,因为您的csvs可以有空格或制表符,您可以将正则表达式传递给sep参数,如下所示:

pd.read_csv(filename, sep='\s+',header=None)

这将分隔符定义为单个空格或更多空格,有一个方便的备忘单列出regular expressions.