Question

TLDR：如何迭代pandas数据框中多列的所有选项而不明确指定列或其值？

长版本：我有一个像这样的pandas数据框，只有它具有比此处列出的更多功能或药物剂量组合。而不仅仅是3种类型的功能，它可能有70 ......：

> dosage_df

First Score Last Score  A_dose  B_dose  C_dose
22          28          1       40      130
55          11          2       40      130
15          72          3       40      130
42          67          1       90      130
90          74          2       90      130
87          89          3       90      130
14          43          1       40      700
12          61          2       40      700
41          5           3       40      700

除了我的数据框，我还有一个python字典，其中包含每个功能的相关范围。键是功能名称，它可以采用的不同值是键：

> dict_of_dose_ranges = {'A_dose': [1, 2, 3], 'B_dose': [40, 90], 'C_dose': [130,700]}

出于我的目的，我需要生成一个特定的组合（比如A_dose = 1，B_dose = 90和C_dose = 700），并根据这些设置从我的数据帧中取出相关的切片，并从中进行相关的计算较小的子集，并将结果保存在某处。

我需要对我所有功能的所有可能组合执行此操作（远远超过此处的3个，以及将来可变的）。

在这种情况下，我可以轻松地将其弹出到SkLearn的参数网格中，生成选项：

> from sklearn.grid_search import ParameterGrid
> all_options = list(ParameterGrid(dict_of_dose_ranges)) 
> all_options

并获得：

[{'A_dose': 1, 'B_dose': 40, 'C_dose': 130},
 {'A_dose': 1, 'B_dose': 40, 'C_dose': 700},
 {'A_dose': 1, 'B_dose': 90, 'C_dose': 130},
 {'A_dose': 1, 'B_dose': 90, 'C_dose': 700},
 {'A_dose': 2, 'B_dose': 40, 'C_dose': 130},
 {'A_dose': 2, 'B_dose': 40, 'C_dose': 700},
 {'A_dose': 2, 'B_dose': 90, 'C_dose': 130},
 {'A_dose': 2, 'B_dose': 90, 'C_dose': 700},
 {'A_dose': 3, 'B_dose': 40, 'C_dose': 130},
 {'A_dose': 3, 'B_dose': 40, 'C_dose': 700},
 {'A_dose': 3, 'B_dose': 90, 'C_dose': 130},
 {'A_dose': 3, 'B_dose': 90, 'C_dose': 700}]

这是我遇到问题的地方：

问题＃1）我现在可以遍历all_options，但我不确定现在如何从每个字典选项中选择dosage_df { ie {'A_dose'：1，'B_dose'：40，'C_dose'：130}）没有明确地做。

在过去，我可以做类似的事情：

dosage_df[(dosage_df.A_dose == 1) & (dosage_df.B_dose == 40) & (dosage_df.C_dose == 130)]

First Score Last Score  A_dose  B_dose  C_dose
0           22          28      140     130

但是现在我不确定要在括号内放置什么来动态切片......

dosage_df[?????]

问题＃2）当我实际输入我的完整字典及其各自的范围时，我收到错误，因为它认为它有太多选项...

from sklearn.grid_search import ParameterGrid
all_options = list(ParameterGrid(dictionary_of_features_and_ranges)) 
all_options

---------------------------------------------------------------------------
OverflowError                             Traceback (most recent call last)
<ipython-input-138-7b73d5e248f5> in <module>()
      1 from sklearn.grid_search import ParameterGrid
----> 2 all_options = list(ParameterGrid(dictionary_of_features_and_ranges))
      3 all_options

OverflowError: long int too large to convert to int

我尝试了许多替代方法，包括使用双while循环，tree / recursion method from here，另一个recursion method from here，但它没有聚集在一起....任何帮助都非常感谢。

Answer 1

您可以使用itertools.product生成所有可能的剂量组合，并使用DataFrame.query进行选择：

from itertools import product

for dosage_comb in product(*dict_of_dose_ranges.values()):
    dosage_items = zip(dict_of_dose_ranges.keys(), dosage_comb)
    query_str = ' & '.join('{} == {}'.format(*x) for x in dosage_items)
    sub_df = dosage_df.query(query_str)

    # Do Stuff...

Answer 2

使用底层的numpy数组和一些布尔逻辑来构建一个只包含你想要的行的数组呢？

dosage_df = pd.DataFrame((np.random.rand(40000,10)*100).astype(np.int))
dict_of_dose_ranges={3:[10,11,12,13,15,20],4:[20,22,23,24]}

#combined_doses will be bool array that will select all the lines that match the wanted combinations of doses

combined_doses=np.ones(dosage_df.shape[0]).astype(np.bool)
for item in dict_of_dose_ranges.items():
    #item[0] is the kind of dose
    #item[1] are the values of that kind of dose

    next_dose=np.zeros(dosage_df.shape[0]).astype(np.bool)

    #we then iterate over the wanted values
    for value in item[1]:
        # we select and "logical or" all lines matching the values
        next_dose|=(dosage_df[item[0]] == value)
    # we "logical and" all the kinds of dose
    combined_doses&=next_dose

print(dosage_df[combined_doses])

迭代Pandas DF中的多个列并动态切片

2 个答案: