Question

我在Ubuntu 13.10上的ipython3中使用pandas 0.12.0，以便在txt文件中拼写大的制表符分隔数据集。使用read_table从txt创建DataFrame似乎工作，第一行作为标题读取，但尝试使用其名称作为索引访问第一列会引发KeyError。我不明白为什么会发生这种情况，因为列名全部看起来都已正确读取，并且每个其他列都可以这种方式编入索引。

数据如下所示：

RECORDING_SESSION_LABEL LEFT_GAZE_X LEFT_GAZE_Y RIGHT_GAZE_X    RIGHT_GAZE_Y    VIDEO_FRAME_INDEX   VIDEO_NAME
73_1    .   .   395.1   302 .   .
73_1    .   .   395 301.9   .   .
73_1    .   .   394.9   301.7   .   .
73_1    .   .   394.8   301.5   .   .
73_1    .   .   394.6   301.3   .   .
73_1    .   .   394.7   300.9   .   .
73_1    .   .   394.9   301.3   .   .
73_1    .   .   395.2   302 1   1_1_just_act.avi
73_1    .   .   395.3   302.3   1   1_1_just_act.avi
73_1    .   .   395.4   301.9   1   1_1_just_act.avi
73_1    .   .   395.7   301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
73_1    .   .   396 301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
15_1    395.4   301.7   .   .   .   .

分隔符绝对是制表符，并且没有尾随或前导空格。

此最小程序发生错误：

import pandas as pd

samples = pd.read_table('~/datafile.txt')

print(samples['RECORDING_SESSION_LABEL'])

给出错误：

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-65-137d3c16b931> in <module>()
----> 1 print(samples['RECORDING_SESSION_LABEL'])

/usr/lib/python3/dist-packages/pandas/core/frame.py in __getitem__(self, key)
   2001             # get column
   2002             if self.columns.is_unique:
-> 2003                 return self._get_item_cache(key)
   2004 
   2005             # duplicate columns

/usr/lib/python3/dist-packages/pandas/core/generic.py in _get_item_cache(self, item)
    665             return cache[item]
    666         except Exception:
--> 667             values = self._data.get(item)
    668             res = self._box_item_values(item, values)
    669             cache[item] = res

/usr/lib/python3/dist-packages/pandas/core/internals.py in get(self, item)
   1654     def get(self, item):
   1655         if self.items.is_unique:
-> 1656             _, block = self._find_block(item)
   1657             return block.get(item)
   1658         else:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _find_block(self, item)
   1934 
   1935     def _find_block(self, item):
-> 1936         self._check_have(item)
   1937         for i, block in enumerate(self.blocks):
   1938             if item in block:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _check_have(self, item)
   1941     def _check_have(self, item):
   1942         if item not in self.items:
-> 1943             raise KeyError('no item named %s' % com.pprint_thing(item))
   1944 
   1945     def reindex_axis(self, new_axis, method=None, axis=0, copy=True):

KeyError: 'no item named RECORDING_SESSION_LABEL'

简单地执行print(samples)可以得到打印整个表的预期输出，包括第一列及其标题。尝试打印任何其他列（即;完全相同的代码，但'RECORDING_SESSION_LABEL'替换为'LEFT_GAZE_X'）可以正常工作。此外，标题似乎已正确读取，并且pandas将'RECORDING_SESSION_LABEL'识别为列名。这可以通过使用.info（）方法并在读取之后查看样本的.columns属性来证明：

>samples.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 28 entries, 0 to 27
Data columns (total 7 columns):
RECORDING_SESSION_LABEL    28  non-null values
LEFT_GAZE_X                 28  non-null values
LEFT_GAZE_Y                 28  non-null values
RIGHT_GAZE_X                28  non-null values
RIGHT_GAZE_Y                28  non-null values
VIDEO_FRAME_INDEX           28  non-null values
VIDEO_NAME                  28  non-null values
dtypes: object(7)

>print(samples.columns)

Index(['RECORDING_SESSION_LABEL', 'LEFT_GAZE_X', 'LEFT_GAZE_Y', 'RIGHT_GAZE_X', 'RIGHT_GAZE_Y', 'VIDEO_FRAME_INDEX', 'VIDEO_NAME'], dtype=object)

当我使用ipython的选项卡完成时，我感觉到的另一个错误行为是相关的，它允许我访问样本列，就好像它们是属性一样。它适用于除第一列之外的每一列。即;使用>samples.R点击标签键只会建议samples.RIGHT_GAZE_X samples.RIGHT_GAZE_Y。

那么为什么在查看整个数据帧时它会正常运行，但在尝试按名称访问第一列时失败，即使它似乎已正确读取该名称？

Answer 1

这似乎是（与之相关）一个已知问题，请参阅GH #4793。使用'utf-8-sig'作为编码似乎有效。没有它，我们有：

>>> df = pd.read_table("datafile.txt")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
'\xef\xbb\xbfRECORDING_SESSION_LABEL'

但有了它，我们有

>>> df = pd.read_table("datafile.txt", encoding="utf-8-sig")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
u'RECORDING_SESSION_LABEL'
>>> df["RECORDING_SESSION_LABEL"].max()
u'73_1'

（上面使用Python 2，但Python 3也是如此。）

Answer 2

听起来你只需要从文件的开头有条件地删除BOM。您可以使用文件包装器执行此操作，如下所示：

def remove_bom(filename):
    fp = open(filename, 'rbU')
    if fp.read(2) != b'\xfe\xff':
        fp.seek(0, 0)
    return fp

# read_table also accepts a file pointer, so we can remove the bom first
samples = pd.read_table(remove_bom('~/datafile.txt'))

print(samples['RECORDING_SESSION_LABEL'])

Answer 3

我也偶然发现了类似的问题。当我读作df = pandas.read_csv（csvfile，sep）时，第一列在名称中有这种奇怪的格式：

df.columns[0]

返回了这个结果：

'\xef\xbb\xbfColName'

当我尝试选择此列时，出现错误：

df.ColName

返回

AttributeError: 'DataFrame' object has no attribute 'ColName'

阅读本文之后，我只使用我的外部程序Sublime来更改编码并将文件另存为新文件（使用UTF-8编码保存，但没有BOM）。

之后pandas正确读取第一个列名称，我可以使用df.ColName选择它并返回正确的值。这么小的事情花了45分钟才解决。

TLDR：使用没有BOM的编码保存文件。

Answer 4

我认为您遇到的问题只是＆＃34;标签＆＃34;在datafile.txt中实际上并不是标签。（当我使用您的代码阅读它时，数据框有1列和15行。）您可以进行正则表达式搜索和替换，或者，可以按原样解析它：

import pandas as pd
from numpy import transpose

with open('~/datafile.txt', 'r') as datafile:
    data = datafile.read()
while '  ' in data:
    data = data.replace('  ', ' ')
data = transpose([row.split(' ') for row in data.strip().split('\n')])
datadict = {}
for col in data:
    datadict[col[0]] = col[1:]
samples = pd.DataFrame(datadict)
print(samples['RECORDING_SESSION_LABEL'])

这对我datafile.txt的效果很好：结果数据框有15行x 7列。

在读取制表符分隔的数据时，Pandas似乎忽略了第一列名称，给出了KeyError

4 个答案: