处理pandas DF中的重复索引

时间:2016-05-12 10:02:38

标签: python pandas dataframe duplicates

我在pandas中有一对时间序列,一个函数将查看它们的小时间片,并根据行中值的某些条件提取行。此函数返回两个数据帧的元组,删除这些匹配的行并放在新数据帧列表中。

我已经意识到,问题在于,数据框可能包含两个相同的索引是可能的(尽管非常不可能),在这种情况下,drop命令将删除原始索引和具有重复索引的行,这有时会导致错误的结果。

请注意,两个数据帧都很小,在所有情况下都不到10行,因此可靠的O()行为很好。

我想过两个解决方法,但我不确定如何实现它们。

(1)按整数位置引用行,但drop似乎不适用于整数规范。我能做到:

df.reset_index().drop(1).set_index(["Thingy", "Other"])

重置多索引,但这依赖于我知道其他索引级别的名称,并且感觉真的很慢/ hacky。虽然我猜它可能很好。

(2)检查重复的索引,然后为它们添加一些微小的timedelta,这样它们将不再是重复的,但我也无法弄清楚如何优雅地做到这一点。

以下是此类功能的简单示例:

def extract_pairs(df_first, df_second, threshold=0.0):
    name1 = df_first.name
    name2 = df_second.name
    results = []
    flag = False
    for index1, row1 in df_first.iterrows():
        for index2, row2 in df_second.iterrows():
            val1 = row1.get_value("SIZE")
            val2 = row2.get_value("SIZE")
            if val1*(1-threshold) <= val2 <= val1*(1+threshold) :
                row1.loc["Name"] = name1
                row2.loc["Name"] = name2
                results.append(pd.DataFrame([row1, row2], index=[index1, index2]))
                flag = True
                break
        if flag:
            break

    if flag:
        df_first = df_first.drop(index1) #May remove more than one entry!
        df_first.name = name1
        df_second = df_second.drop(index2) #May remove more than one entry!
        df_second.name = name2
        df_first, df_second, new_results = extract_pairs(df_first, df_second)
        results.extend(new_results)

    return df_first, df_second, results

==================例===============

假设输入数据帧是:

Index SIZE          Index SIZE 
 A     5              B    5     
 A     7              C    6

调用时,所需的输出为三帧:

Index SIZE          Index SIZE      Index Name Size      
 A     7              C     6         A    Foo  5
                                      B    Bar  5

但是给出的函数的实际输出是:

Index SIZE          Index SIZE      Index Name Size      
 EMPTY DF             C     6         A    Foo  5
                                      B    Bar  5

因为drop(index1)行会删除带有索引A的所有行。

1 个答案:

答案 0 :(得分:1)

我认为,您可以执行以下步骤:

  1. 使用reset_index()将索引放入数据框
  2. 选择标准后的行,使用.index返回行位置
  3. drop()按位置划分的行
  4. 使用set_index(index),将“index”列设置为索引
  5. 我做了以下示例,我想删除列A&gt;的所有行0 ,返回的rowindex将是[1,2,2],但第四行的名称也是“2”,这是你的问题吗?

    # Generate the dataset
    np.random.seed(1)
    rowname = [1,2,2,2,4,4]
    myDf = pd.DataFrame(np.random.randn(6,4), index=rowname, columns=list('ABCD'))
    print myDf
    >>>
              A         B         C         D
     1  1.624345 -0.611756 -0.528172 -1.072969
     2  0.865408 -2.301539  1.744812 -0.761207
     2  0.319039 -0.249370  1.462108 -2.060141
     2 -0.322417 -0.384054  1.133769 -1.099891
     4 -0.172428 -0.877858  0.042214  0.582815
     4 -1.100619  1.144724  0.901591  0.502494
    
    # put your rowindex to your dataframe
    newDf = myDf.reset_index()
    
    # get the index from the new dataframe, drop them and set the index back to your result
    result = newDf.drop(newDf[newDf.A>0].index).set_index("index")
    print result
    
    >>>           A         B         C         D
    index                                        
     2     -0.322417 -0.384054  1.133769 -1.099891
     4     -0.172428 -0.877858  0.042214  0.582815
     4     -1.100619  1.144724  0.901591  0.502494