Question

我有以下pandas dataframe

import numpy as np
import pandas as pd

df = pd.DataFrame({"first_element":[20, 125, 156, 211, 227, 220, 230, 472, 4765], "second_element":[35, 145, 178, 233, 321, 234, 231, 498, 8971], "next":[0.32, 0.04, 0.59, 0.103, 0.37, 0.92, 0.81, 0.24, 0.77]})
df = df[["first_element", "second_element", "next"]]

print(df)
### print(df) outputs:
    first_element  second_element   next
0             20              35  0.320
1            125             145  0.040
2            156             178  0.590
3            211             233  0.103
4            227             321  0.370
5            220             234  0.920
6            230             231  0.810
7            472             498  0.240
8           4765            8971  0.770

在此DataFrame中，每行被视为沿实线[first_element, second_element]的“间隔”，例如20至35,125至145.

如果我希望根据这两列对df进行排序，我会使用.sort_values()，即

sorted_df = df.sort_values(["first_element", "second_element"], ascending=[True, False])

输出

print(sorted_df)
    first_element  second_element   next
0             20              35  0.320
1            125             145  0.040
2            156             178  0.590
3            211             233  0.103
5            220             234  0.920
4            227             321  0.370
6            230             231  0.810
7            472             498  0.240
8           4765            8971  0.770

有几个相交/重叠的区间，即[211, 233], [220, 234], [227, 321], [230, 231]。由于[230, 231]是[211, 233]的子集，因此有几种方法可以对这两种方法进行排序。

我的目标是（1）编写一个函数，找到所有重叠的“区间”（两列first_element和second_element中的值）和（2）随机混洗这些区间。

目标（2）听起来非常棘手，因为人们需要单独改组/重新排序重叠间隔的多个“组”。例如，假设我们的数据帧较大，并且具有以下重叠间隔：

[211, 233], [220, 234], [227, 321], [230, 231], [5550, 5879], [5400, 5454]

我希望单独重新调整[211, 233], [220, 234], [227, 321], [230, 231]和[5550, 5879], [5400, 5454]，而不是混淆重叠间隔的子集。

有几种方法可以使用pandas对行进行随机播放，例如：按指数洗牌

def shuffle_by_index(df):
    index = list(df.index)
    random.shuffle(index)
    df = df.ix[index]
    df.reset_index()
    return df

或使用sklearn

import sklearn.utils
shuffled = sklearn.utils.shuffle(df)
df = df.reset_index(drop=True)

但是（1）如何以pythonic / pandas的方式搜索所有重叠的区间，以及（2）如何选择这些重叠区间的子集并且只将它们单独洗牌？

Answer 1

这不是解决问题的最佳方法，但它可以提供您想要的结果。我已经为你留下了第二部分。

import numpy as np
import pandas as pd

df = pd.DataFrame({"first_element":[20, 125, 156, 211, 227, 220, 230, 472, 4765], "second_element":[35, 145, 178, 233, 321, 234, 231, 498, 8971], "next":[0.32, 0.04, 0.59, 0.103, 0.37, 0.92, 0.81, 0.24, 0.77]})
df = df[["first_element", "second_element", "next"]]

sorted_df = df.sort_values(["first_element", "second_element"], ascending=[True, False])
sorted_df.reset_index(0, inplace = True)

prev_min = sorted_df.first_element.iloc[0]
prev_max = sorted_df.second_element.iloc[0]

labels = []
label_counter = 1
labels.append(label_counter)

for rowIndex in xrange(1, sorted_df.shape[0]):
    row = sorted_df.iloc[rowIndex]

    if row.first_element > prev_max:
        # totally different interval, may be overlapping interval
        prev_min = row.first_element
        prev_max = row.second_element
        label_counter += 1
        labels.append(label_counter)
    elif row.first_element >= prev_min:
        prev_max = max(prev_max, row.second_element)
        labels.append(label_counter)

sorted_df['overlapping_index'] = labels

# group sorted_df by overlapping index, and randomly select the save interval group

如果两列之间的值“重叠”，则对pandas DataFrame行进行混洗

1 个答案: