如何逐个创建DataFrame切片对象?

时间:2017-03-23 16:30:06

标签: python pandas

我有一个DataFrame,我想从中选择某些行和列。我知道如何使用loc执行此操作。但是,我希望能够单独指定每个条件,而不是一次性指定。

import numpy as np
import pandas as pd
idx = pd.IndexSlice

index = [np.array(['foo', 'foo', 'qux', 'qux']),
         np.array(['a', 'b', 'a', 'b'])]
columns = ["A",  "B"]
df = pd.DataFrame(np.random.randn(4, 2), index=index, columns=columns)
print df
print df.loc[idx['foo', :], idx['A':'B']]

              A         B
foo a  0.676649 -1.638399
    b -0.417915  0.587260
qux a  0.294555 -0.573041
    b  1.592056  0.237868


              A         B
foo a -0.470195 -0.455713
    b  1.750171 -0.409216

要求

我希望能够通过以下代码来实现相同的结果,我会逐一指定每个条件。我能够使用slice_list来允许动态行为也很重要,即无论slice_list]中有两个,三个或十个不同的标准,语法都应该有效。

slice_1 = 'foo'
slice_2 = ':'
slice_list = [slice_1, slice_2]

column_slice = "'A':'B'"
print df.loc[idx[slice_list], idx[column_slice]]

5 个答案:

答案 0 :(得分:9)

您可以使用slice内置功能实现此目的。您不能使用字符串构建切片作为':'是一个文字角色,而不是一个合成角色。

slice_1 = 'foo'
slice_2 = slice(None)
column_slice = slice('A', 'B')
df.loc[idx[slice_1, slice_2], idx[column_slice]]

答案 1 :(得分:4)

您可能需要构建与您预期的“切片列表”略有不同,但这是使用df.ix[]# Build a "query" dataframe slice_df = pd.DataFrame(index=[['foo','qux','qux'],['a','a','b']]) # Explicitly name columns column_slice = ['A','B'] slice_df.merge(df, left_index=True, right_index=True, how='inner').ix[:,column_slice] Out[]: A B foo a 0.442302 -0.949298 qux a 0.425645 -0.233174 b -0.041416 0.229281 的相对紧凑的方法:

def make_df_slice_list(df):
    if df.index.nlevels == 1:
        slice_list = []
        # Only one level of index
        for dex in df.index.unique():
            if input("DF index: " + dex + " - Include? Y/N: ") == "Y":
                # Add to slice list
                slice_list.append(dex)
    if df.index.nlevels > 1:
        slice_list = [[] for _ in xrange(df.index.nlevels)]
        # Multi level
        for i in df.index.levels[0]:
            print "DF index:", i, "has subindexes:", [dex for dex in df.ix[i].index]
            sublist = input("Enter a the indexes you'd like as a list: ")
            # if no response, the first entry
            if len(sublist)==0:
                sublist = [df.ix[i].index[0]]
            # Add an entry to the first index list for each sub item passed
            [slice_list[0].append(i) for item in sublist]
            # Add each of the second index list items
            [slice_list[1].append(item) for item in sublist]
    return slice_list

不幸的是,此方法还要求您明确第二个索引和列。但如果你问得好的话,计算机很适合为你制作冗长乏味的清单。

编辑 - 动态构建可以像上面一样使用的切片列表的方法示例。

这是一个函数,它接受一个数据帧并吐出一个列表,然后可以用它来创建一个“查询”数据帧来切片原始数据。它仅适用于具有1或2个索引的数据帧。如果这是一个问题,请告诉我。

"Y"

我不是建议将此作为与用户沟通的一种方式,只是一个例子。当您使用它时,您必须在提示时传递字符串(例如"N"["a","b"])和字符串列表([])和空列表In [115]: slice_list = make_df_slice_list(df) DF index: foo has subindexes: ['a', 'b'] Enter a the indexes you'd like as a list: [] DF index: qux has subindexes: ['a', 'b'] Enter a the indexes you'd like as a list: ['a','b'] In [116]:slice_list Out[116]: [['foo', 'qux', 'qux'], ['a', 'a', 'b']] # Back to my original solution, but now passing the list: slice_df = pd.DataFrame(index=slice_list) column_slice = ['A','B'] slice_df.merge(df, left_index=True, right_index=True, how='inner').ix[:,column_slice] Out[117]: A B foo a -0.249547 0.056414 qux a 0.938710 -0.202213 b 0.329136 -0.465999 。例如:

{{1}}

答案 2 :(得分:1)

建立the answer by Ted Petrou

slices = [('foo', slice(None)), slice('A', 'B')]
print df.loc[tuple(idx[s] for s in slices)]

              A         B
foo a -0.465421 -0.591763
    b -0.854938  1.221204

slices = [('foo', slice(None)), 'A']
print df.loc[tuple(idx[s] for s in slices)]

foo  a   -0.465421
     b   -0.854938
Name: A, dtype: float64

slices = [('foo', slice(None))]
print df.loc[tuple(idx[s] for s in slices)]

              A         B
foo a -0.465421 -0.591763
    b -0.854938  1.221204

在使用“动态”参数调用__getitem__loc[...])时,您必须使用元组。

您还可以避免手动构建slice个对象:

def to_selector(s):
    if isinstance(s, tuple) or isinstance(s, list):
        return tuple(map(to_selector, s))
    ps = [None if len(p) == 0 else p for p in s.split(':')]
    assert len(ps) > 0 and len(ps) <= 2
    if len(ps) == 1:
        assert ps[0] is not None
        return ps[0]
    return slice(*ps)

query = [('foo', ':'), 'A:B']
df.loc[tuple(idx[to_selector(s)] for s in query)]

答案 3 :(得分:0)

do you mean this?

import numpy as np
import pandas as pd
idx = pd.IndexSlice

index = [np.array(['foo', 'foo', 'qux', 'qux']),
         np.array(['a', 'b', 'a', 'b'])]
columns = ["A",  "B"]
df = pd.DataFrame(np.random.randn(4, 2), index=index, columns=columns)
print df

# 
la1 = lambda df: df.loc[idx['foo', :], idx['A':'B']]
la2 = lambda df: df.loc[idx['qux', :], idx['A':'B']]
laList = [la1, la2]

result = map(lambda la: la(df), laList)
print result[0]
print result[1]

              A         B
foo a  0.162138 -1.382822
    b -0.822986 -0.403766
qux a  0.191695 -1.125841
    b  0.669254 -0.704894
              A         B
foo a  0.162138 -1.382822
    b -0.822986 -0.403766
              A         B
qux a  0.191695 -1.125841
    b  0.669254 -0.704894

答案 4 :(得分:0)

你的意思是这个吗?

df.loc[idx['foo',:], :].loc[idx[:,'a'], :]

稍微更一般的形式,例如:

def multiindex_partial_row_slice(df, part_idx, criteria):
    slc = idx[tuple([slice(None) if i != part_idx else criteria 
                     for i in range(len(df.index.levels))])]
    return df.loc[slc, :]

multiindex_partial_row_slice(df, 1, slice('a','b'))

同样,您可以通过将.loc[:, columns]附加到当前切片的视图来缩小当前列集。