Question

我有一个包含Multiindex的数据框，并希望修改Multiindex的一个特定级别。例如，第一级可能是字符串，我可能想从该索引级别删除空格：

df.index.levels[1] = [x.replace(' ', '') for x in df.index.levels[1]]

但是，上面的代码会导致错误：

TypeError: 'FrozenList' does not support mutable operations.

我知道我可以reset_index并修改列然后重新创建Multiindex，但我想知道是否有更优雅的方法可以直接修改Multiindex的某个特定级别。

Answer 1

如评论中所述，索引是不可变的，必须在修改时重新创建，但您不必使用reset_index，您可以直接创建新的多索引：

df.index = pd.MultiIndex.from_tuples([(x[0], x[1].replace(' ', ''), x[2]) for x in df.index])

此示例适用于3级索引，您可以在其中修改中间级别。您需要更改不同级别大小的元组大小。

Answer 2

感谢@ cxrodgers的评论，我认为最快的方法是：

df.index = df.index.set_levels(df.index.levels[0].str.replace(' ', ''), level=0)

旧的，更长的答案：

我发现@Shovalt建议的列表理解有效但在我的机器上感觉很慢（使用带有> 10,000行的数据帧）。

相反，我能够使用.set_levels方法，这对我来说要快得多。

%timeit pd.MultiIndex.from_tuples([(x[0].replace(' ',''), x[1]) for x in df.index])
1 loop, best of 3: 394 ms per loop

%timeit df.index.set_levels(df.index.get_level_values(0).str.replace(' ',''), level=0)
10 loops, best of 3: 134 ms per loop

实际上，我只需要预先添加一些文字。使用.set_levels：

时速度更快

%timeit pd.MultiIndex.from_tuples([('00'+x[0], x[1]) for x in df.index])
100 loops, best of 3: 5.18 ms per loop

%timeit df.index.set_levels('00'+df.index.get_level_values(0), level=0)
1000 loops, best of 3: 1.38 ms per loop

%timeit df.index.set_levels('00'+df.index.levels[0], level=0)
1000 loops, best of 3: 331 µs per loop

此解决方案基于@denfromufa评论链接中的答案......

python - Multiindex and timezone - Frozen list error - Stack Overflow

Answer 3

其他答案运行正常。根据多索引的结构，直接在级别上应用地图而不是构造新的多索引可能会更快。

我使用以下函数来修改特定的索引级别。它也适用于单级索引。

def map_index_level(index, mapper, level=0):
    """
    Returns a new Index or MultiIndex, with the level values being mapped.
    """
    assert(isinstance(index, pd.Index))
    if isinstance(index, pd.MultiIndex):
        new_level = index.levels[level].map(mapper)
        new_index = index.set_levels(new_level, level=level)
    else:
        # Single level index.
        assert(level==0)
        new_index = index.map(mapper)
    return new_index

用法：

df = pd.DataFrame([[1,2],[3,4]])
df.index = pd.MultiIndex.from_product([["a"],["i","ii"]])
df.columns = ["x","y"]

df.index = map_index_level(index=df.index, mapper=str.upper, level=1)
df.columns = map_index_level(index=df.columns, mapper={"x":"foo", "y":"bar"})

# Result:
#       foo  bar
# a I     1    2
#   II    3    4

注意：仅当mapper保留级别值的唯一性时，以上方法才有效！在上面的示例中，mapper = {"i": "new", "ii": "new"}在set_index()中以ValueError: Level values must be unique失败。可以禁用完整性检查，将上面的代码修改为：

new_index = index.set_levels(new_level, level=level,
                             verify_integrity=False)

但是最好不要！请参阅set_levels的文档。

熊猫：修改特定级别的Multiindex

3 个答案: