Question

我有一个txt文件，格式如下（简化）：

date                 this that other
2007-05-25 11:00:00  10   20   30
2007-05-25 11:10:00  15   18   30
2007-05-25 11:20:00  10   27   30
2007-05-25 11:30:00  20   35   30
2007-05-25 11:50:00  30   20   
2007-05-25 12:00:00  30   13   
2007-05-25 12:10:00  30   13

第一个原始字符串定义了它们上面的列。第一列显然是时间。还可以观察到缺少某些值。我不想删除某些值缺失的行。由于我想稍后对该数据进行一些计算，我想使用numpy来使用numpy.loadtxt导入该数据：

data = numpy.loadtxt('data.txt')

由于第一个原始版本而导致错误ValueError: could not convert string to float: b'date'。使用：

data = numpy.genfromtxt('data.txt')

为许多行提供错误Line #51028 (got 38 columns instead of 37)，这是因为缺少某些值。我该怎么办？

Answer 1

Pandas是一个基于NumPy的库。在许多其他方面，它可以很好地处理不完整的数据。

你应该可以install pandas使用简单的：

$ pip install pandas

我将您的示例文件保存在http://pastebin.com/NuNaTW9n下，并用标签替换了列之间的空格。

>>> import pandas as pd
>>> from urllib import urlopen
>>> df = pd.read_csv(urlopen("http://pastebin.com/raw.php?i=NuNaTW9n"), sep='\t')
>>> df
                  date  this  that  other
0  2007-05-25 11:00:00    10    20     30
1  2007-05-25 11:10:00    15    18     30
2  2007-05-25 11:20:00    10    27     30
3  2007-05-25 11:30:00    20    30    NaN
4  2007-05-25 11:50:00    30    20    NaN
5  2007-05-25 12:00:00    30    13    NaN
6  2007-05-25 12:10:00    30    13    NaN

掌握数据框后，您就可以开始探索数据了：

>>> df["this"].sum()
145

>>> df["that"].mean()
20.142857142857142

>>> df[df["that"] < 20]["date"]
1    2007-05-25 11:10:00
5    2007-05-25 12:00:00
6    2007-05-25 12:10:00

默认情况下，pandas会尝试猜测您的值的最佳数据类型（例如，它会猜测df["that"]应该是int64），但您可以通过传递{{{}来控制此行为1}} read_csv的参数。

Answer 2

要使用genfromtxt来处理这样的缺失值，您可以将delimiter参数与字段宽度列表一起使用，因为您的文件具有固定宽度字段：

In [2]: a = np.genfromtxt('test.txt', delimiter=[19,4,5,5], skip_header=1)

在你的例子中

。但是，您需要正确设置dtype或使用转换器功能来处理日期/时间字段。例如：

In [3]: a = np.genfromtxt('test.txt', delimiter=[19,4,5,5], skip_header=1,
                          dtype=np.dtype([('date', 'datetime64[s]'),
                                          ('this', int), ('that', int),
                                          ('other', int)])
                         )

In [4]: a
Out[4]: array([(datetime.datetime(2007, 5, 25, 15, 0), 10, 20, 30),
   (datetime.datetime(2007, 5, 25, 15, 10), 15, 18, 30),
   (datetime.datetime(2007, 5, 25, 15, 20), 10, 27, 30),
   (datetime.datetime(2007, 5, 25, 15, 30), 20, 35, 30),
   (datetime.datetime(2007, 5, 25, 15, 50), 30, 20, -1),
   (datetime.datetime(2007, 5, 25, 16, 0), 30, 13, -1),
   (datetime.datetime(2007, 5, 25, 16, 10), 30, 13, -1)], 
  dtype=[('date', '<M8[s]'), ('this', '<i8'), ('that', '<i8'), ('other', '<i8')])

这是在python中打开“复杂”txt文件的好方法

2 个答案: