Question

我有一个NxN数据帧。每行对应一个给定为其索引的URL（没有＆＃34; http：//＆＃34;）。每个列也表示具有布尔值的url，指示此页面（行索引）是否链接到该页面（列名称）。索引和列中的URL相同。

In [1]: import pandas as pd

In [2]: from pandas import DataFrame

In [3]:  df = DataFrame({'domain1.com/url1':[True,False,False,True,False],'domain2.com/url2':[False,True,False,True,True],'domain1.com/url3':[False,False,False,True,False],'domain3.com/url4':[False,True,False,True,False],'domain2.com/url5':[False,True,False,True,True]}, index=['domain1.com/url1','domain2.com/url2','domain1.com/url3','domain3.com/url4','domain2.com/url5'])

In [4]: df
Out[4]: 
                 domain1.com/url1 domain1.com/url3 domain2.com/url2  \
domain1.com/url1             True            False            False   
domain2.com/url2            False            False             True   
domain1.com/url3            False            False            False   
domain3.com/url4             True             True             True   
domain2.com/url5            False            False             True   

                 domain2.com/url5 domain3.com/url4  
domain1.com/url1            False            False  
domain2.com/url2             True             True  
domain1.com/url3            False            False  
domain3.com/url4             True             True  
domain2.com/url5             True            False

现在我可以为每个网址计算传入和传出链接：

In [5]: in_links_count = df.sum(axis=0)

In [6]: in_links_count
Out[6]: 
domain1.com/url1    2
domain1.com/url3    1
domain2.com/url2    3
domain2.com/url5    3
domain3.com/url4    2
dtype: int64

In [7]: out_links_count = df.sum(axis=1)

In [8]: out_links_count
Out[8]: 
domain1.com/url1    1
domain2.com/url2    3
domain1.com/url3    0
domain3.com/url4    5
domain2.com/url5    2
dtype: int64

到目前为止一切顺利。但是，如果我只计算其他域的传入和传出链接，该怎么办？我想我需要以某种方式逐行过滤掉列。我尝试过调换数据帧（为了排除列）和过滤，但失败了：

In [9]: df_t = df.T

In [10]: df_t[ filter(lambda x: x.split('/')[0] != df_t.index.map(lambda x: x.split('/')[0]), list(df_t)) ].sum(axis=0)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-10-279439127551> in <module>()
----> 1 df_t[ filter(lambda x: x.split('/')[0] != df_t.index.map(lambda x: x.split('/')[0]), list(df_t)) ].sum(axis=0)

ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

任何想法，伙计们？

UPD：

@piRSquared提供了一个解决方案，通过分层索引（stack（），index.to_series（），轴之间的差异，＆＃34; False＆＃34;丢失数据的值 - 产生第二个数据帧 - 见下文）;这适用于中等大小的数据。但是，对于一个大的NxN数据帧（1000x1000），这肯定是一种过度杀伤力。可能有另一种方式，也许利用就地过滤/映射？

Answer 1

创建一系列索引/列对。过滤掉相同域名的域名并填入False。然后将axis1总和添加到axis0总和。

def domain(x):
    return x.str.extract(r'([^/]+)', expand=False)

dfi = df.stack().index.to_series().apply(lambda x: pd.Series(x, ['u1', 'u2']))
keep = domain(dfi.u1) != domain(dfi.u2)
df1 = df.stack().ix[keep].unstack().fillna(False)

df1.sum(0) + df1.sum(1)

domain1.com/url1    1
domain1.com/url3    1
domain2.com/url2    2
domain2.com/url5    1
domain3.com/url4    5
dtype: int64

Answer 2

不是非常大熊猫，但仍然......人们可以迭代元素

In [40]: def same_domain(url1, url2):
    return url1.split('/')[0] == url2.split('/')[0]


In [41]: def clear_inner_links(df):
for r in df.index:
    for c in df.columns:
        if(same_domain(r,c)):
            df.loc[r,c] = False
return df

然后只是

df1.sum(0)
df1.sum(1)

基准：

In [35]: new_df.shape
Out[35]: (500, 500)

In [36]: %timeit clear_inner_links(new_df)
1 loop, best of 3: 956 ms per loop

更多熊猫方式：

In [102]: def same_domain(url1, url2):
   .....:         return url1.split('/')[0] == url2.split('/')[0]
   .....: 

In [103]: def apply_criterion(s):
   .....:         s[s.index.map(lambda x: same_domain(x,s.name))] = False
   .....:     

In [104]: def clear_inner_links2(df):
   .....:         df.apply(apply_criterion, axis=0)
   .....:         return df
   .....: 

In [105]: new_df.shape
Out[105]: (500, 500)

In [106]: %timeit clear_inner_links2(new_df)
1 loop, best of 3: 929 ms per loop

对于1000多个数据帧，第二个解决方案显示出比第一个解决方案（或piRSquared的速度慢约50倍）更好的性能。

根据行索引值对pandas dataframe列中的值求和

2 个答案: