Question

这是一个非常奇怪的错误，我在做pandas DataFrame KeyError时得到groupby没有明显的原因。

df = pd.read_csv('test.csv')
df.tail(5)

df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 165 entries, 0 to 164
Data columns (total 3 columns):
Id     165 non-null object
Time    165 non-null object
Val     165 non-null float64
dtypes: float64(1), object(2)
memory usage: 3.9+ KB

df.columns
Index([u'Id', u'Time', u'Val'], dtype='object')

df.groupby(['Id'])
KeyErrorTraceback (most recent call last)
<ipython-input-24-bba5c2dc5f75> in <module>()
----> 1 df.groupby(['Id'])

/usr/local/lib/python2.7/dist-packages/pandas/core/generic.pyc in groupby(self, by, axis, level, as_index, sort, group_keys, squeeze, **kwargs)
   3776         return groupby(self, by=by, axis=axis, level=level, as_index=as_index,
   3777                        sort=sort, group_keys=group_keys, squeeze=squeeze,
-> 3778                        **kwargs)
...
/usr/local/lib/python2.7/dist-packages/pandas/core/internals.pyc in get(self, item, fastpath)
   3288 
   3289             if not isnull(item):
-> 3290                 loc = self.items.get_loc(item)
   3291             else:
   3292                 indexer = np.arange(len(self.items))[isnull(self.items)]

/usr/local/lib/python2.7/dist-packages/pandas/indexes/base.pyc in get_loc(self, key, method, tolerance)
   1945                 return self._engine.get_loc(key)
   1946             except KeyError:
-> 1947                 return self._engine.get_loc(self._maybe_cast_indexer(key))
   1948 
   1949         indexer = self.get_indexer([key], method=method, tolerance=tolerance)

pandas/index.pyx in pandas.index.IndexEngine.get_loc (pandas/index.c:4154)()

pandas/index.pyx in pandas.index.IndexEngine.get_loc (pandas/index.c:4018)()

pandas/hashtable.pyx in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12368)()

pandas/hashtable.pyx in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12322)()

KeyError: 'Id'

请注意，使用df.columns = df.columns.map(str.strip)建议没有任何不同 - 我仍然从df.columns获得完全相同的输出，并且错误如上所述：

df.columns = df.columns.map(str.strip)
df.columns
Out[38]:
Index([u'Id', u'Time', u'Val'], dtype='object')

如果有任何地方我可以发布这个“test.csv”，我可以这样做，因为我几乎可以肯定问题是文件的格式 - “test.csv”是基于Windows的，并且从SQL Server SSMS输出。这是非常重要的，因为我打开，复制＆amp;使用Notepad ++保存了确切的内容，新保存的文件不会出现这样的问题。

在Linux下使用file test.csv显示：

test.csv: UTF-8 Unicode (with BOM) text, with CRLF line terminators

以下是文件中的前几个字节：

0000000 ef bb bf 49 64 2c 54 69 - 6d 65 2c 56 61 6c 0d 0a  Id,Time,Val..
0000020 54 35 31 31 35 2c 30 30 - 3a 30 30 3a 30 30 2c 32  T5115,00:00:00,2
0000040 30 2e 38 31 39 0d 0a 54 - 35 31 31 35 2c 30 30 3a  0.819..T5115,00:
0000060 30 30 3a 30 33 2c 31 36 - 2e 39 32 36 0d 0a 54 35  00:03,16.926..T5
0000100 31 31 35 2c 30 30 3a 30 - 30 3a 30 38 2c 31 31 2e  115,00:00:08,11.
0000120 33 34 33 0d 0a 54 35 31 - 31 35 2c 30 30 3a 30 30  343..T5115,00:00
0000140 3a 31 37 2c 36 2e 39 37 - 35 0d 0a 54 35 31 31 35  :17,6.975..T5115
0000160 2c 30 30 3a 30 30 3a 32 - 39 2c 31 33 2e 35 35 33  ,00:00:29,13.553
0000200 0d 0a 54 35 31 31 35 2c - 30 30 3a 30 30 3a 33 35  ..T5115,00:00:35

知道怎么解决吗？谢谢。

Answer 1

Windows中的

Line terminators与其他操作系统不同 - 在ASCII编码中，类Unix操作系统中的换行符是LF，在Windows中它是CRLF。为了保持系统之间的兼容性，Git allows the option保存文件，其中CRLF行以Windows结尾，LF行结束于其他操作系统。这导致了您的问题 - 当您使用SQL Server保存的文件上运行pandas.read_csv时，它具有CRLF行结尾，而pandas将其解释为具有额外的CR字符在每一行的末尾。

幸运的是，read_csv函数包含一个参数lineterminator you can set to "\r"，CR字符，可以正确读取您的行。

Answer 2

了解它的底部 - 事实上，基于Windows的csv文件是根本原因。

证明：

我打开，复制＆amp;使用Notepad ++保存了确切的内容，并且新保存的文件不会出现这样的问题。
如果我在Linux下使用dos2unix转换它，那么尝试上面相同的代码，它会工作。 groupby不会再引发异常。

在https://github.com/pandas-dev/pandas/issues/16690

对它的解决方案，如果熊猫早于0.19，请在encoding='utf-8-sig'中使用pd.read_csv：

df = pd.read_csv('test.csv', encoding='utf-8-sig')

来自pandas DataFrame groupby的KeyError

2 个答案: