Question

在某些情况下，使用带有数量索引的pandas MultiIndex会失败。让我举个例子：

import quantities as pq
import pandas as pd

i = np.arange(10) * pq.J
j = np.array([1 for _ in xrange(10)]) * pq.K

pd.MultiIndex.from_tuples(zip(i, j), names=['Energy', 'Temperature'])

这失败并带有以下追溯

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-86-c2d09517b80e> in <module>()
      5 j = np.array([1 for _ in xrange(10)]) * pq.K
      6 
----> 7 pd.MultiIndex.from_tuples(zip(i, j), names=['Energy', 'Temperature'])

C:\Python27\lib\site-packages\pandas\core\index.pyc in from_tuples(cls, tuples, sortorder, names)
   1685 
   1686         return MultiIndex.from_arrays(arrays, sortorder=sortorder,
-> 1687                                       names=names)
   1688 
   1689     @property

C:\Python27\lib\site-packages\pandas\core\index.pyc in from_arrays(cls, arrays, sortorder, names)
   1646             return Index(arrays[0], name=name)
   1647 
-> 1648         cats = [Categorical.from_array(arr) for arr in arrays]
   1649         levels = [c.levels for c in cats]
   1650         labels = [c.labels for c in cats]

C:\Python27\lib\site-packages\pandas\core\categorical.pyc in from_array(cls, data)
     59 
     60         return Categorical(labels, levels,
---> 61                            name=getattr(data, 'name', None))
     62 
     63     _levels = None

C:\Python27\lib\site-packages\pandas\core\categorical.pyc in __init__(self, labels, levels, name)
     45     def __init__(self, labels, levels, name=None):
     46         self.labels = labels
---> 47         self.levels = levels
     48         self.name = name
     49 

C:\Python27\lib\site-packages\pandas\core\categorical.pyc in _set_levels(self, levels)
     68         levels = _ensure_index(levels)
     69         if not levels.is_unique:
---> 70             raise ValueError('Categorical levels must be unique')
     71         self._levels = levels
     72 

ValueError: Categorical levels must be unique

如果我删除单位，它就可以正常工作。

i = np.arange(10)
j = np.array([1 for _ in xrange(10)])

pd.MultiIndex.from_tuples(zip(i, j), names=['Energy', 'Temperature'])

如果我保留单位，但使用j的唯一项目，它也可以。

i = np.arange(10) * pq.J
j = np.arange(10) * pq.K

pd.MultiIndex.from_tuples(zip(i, j), names=['Energy', 'Temperature'])

这当然没有选择，因为指数来自测量。我真的很想保留单位，但由于我不熟悉熊猫内部，我不知道如何解决这个问题。

版本

我在python 2.7中使用pandas版本0.10.1和数量0.10.1。

Answer 1

我能够重现此错误，但它是间歇性的在Linux上，每次调用都失败了 pd.MultiIndex.from_tuples(...)。

我认为错误是由于quantity个对象违反了 a==b的Python等于哈希不变量意味着hash(a)==hash(b) （来源：http://bugs.python.org/issue13707#msg150596，https://groups.google.com/forum/#!msg/sympy/pJ2jg2csKgU/0nn21xqZEmwJ）。

糟糕散列行为的一个例子。

In [5]: (1 * pq.K) == (1 * pq.K)
Out[5]: True

In [6]: hash(1 * pq.K) == hash(1 * pq.K)
Out[6]: False

基于这种行为，我认为这是一个数量问题，其中导致熊猫中的非法内部状态。

IMO，最干净的解决方案是让数量对象返回一致的哈希值在当前值上，就像在数量对象上添加__hash__()函数的这个（被拒绝的）pull请求一样： https://github.com/python-quantities/python-quantities/pull/29。
要么是这样，要么在尝试哈希时抛出错误，如果需要的话表现得像一个可变对象。

使用Pandas Multiindex数量失败，“分类级别必须是唯一的”

版本

1 个答案: