csv列中所有值之间的差异 - python

时间:2017-06-28 21:54:56

标签: python pandas numpy

起初,我很抱歉我的蟒蛇水平很差, 所以我有下一个问题:

1)我在这个资源上给了很多答案,但对我来说没什么用 (np.abs(a.values[:,np.newaxis]-a2.values)和简单np.diff()以及许多其他方式)

2!)我的csv文件格式如下:

 A  12 43 51 10 74
 B  14 32 31 27 23
 C  13 62 13 33 82
 D  18 31 73 70 42

我需要在raws中的所有列之间接收残差,所以

A:12-43 12-51 12-10 12-74... 43-12 43-51 43-10 43-74...
B:12-43 12-51 12-10 12-74... 43-12 43-51 43-10 43-74...

之后我需要12-43 12-51 12-10 12-74... 43-12 43-51 43-10 43-74...

中的力量2

据我所知,大熊猫对桌子有好处,但我怎么做呢?

如果可以的话,请以我需要的方式去做,以便截止10%的极端结果?非常感谢您的关注和功能帮助。

2 个答案:

答案 0 :(得分:0)

我建议使用numpy。为了计算你可以做的差异

>>> a = numpy.array([[12, 43, 51, 10, 74],
...                  [14, 32, 31, 27, 23],
...                  [13, 62, 13, 33, 82],
...                  [18, 31, 73, 70, 42]])
>>> difference_matrix = numpy.repeat(a, a.shape[-1], axis=-1) - numpy.tile(a, a.shape[-1])
>>> difference_matrix
array([[  0, -31, -39,   2, -62,  31,   0,  -8,  33, -31,  39,   8,   0,
         41, -23,  -2, -33, -41,   0, -64,  62,  31,  23,  64,   0],
       [  0, -18, -17, -13,  -9,  18,   0,   1,   5,   9,  17,  -1,   0,
          4,   8,  13,  -5,  -4,   0,   4,   9,  -9,  -8,  -4,   0],
       [  0, -49,   0, -20, -69,  49,   0,  49,  29, -20,   0, -49,   0,
        -20, -69,  20, -29,  20,   0, -49,  69,  20,  69,  49,   0],
       [  0, -13, -55, -52, -24,  13,   0, -42, -39, -11,  55,  42,   0,
          3,  31,  52,  39,  -3,   0,  28,  24,  11, -31, -28,   0]])

如果你想对结果进行平方,你可以简单地将它应用到矩阵中,每个元素都将被平方:

>>> difference_matrix ** 2
array([[   0,  961, 1521,    4, 3844,  961,    0,   64, 1089,  961, 1521,
          64,    0, 1681,  529,    4, 1089, 1681,    0, 4096, 3844,  961,
         529, 4096,    0],
       [   0,  324,  289,  169,   81,  324,    0,    1,   25,   81,  289,
           1,    0,   16,   64,  169,   25,   16,    0,   16,   81,   81,
          64,   16,    0],
       [   0, 2401,    0,  400, 4761, 2401,    0, 2401,  841,  400,    0,
        2401,    0,  400, 4761,  400,  841,  400,    0, 2401, 4761,  400,
        4761, 2401,    0],
       [   0,  169, 3025, 2704,  576,  169,    0, 1764, 1521,  121, 3025,
        1764,    0,    9,  961, 2704, 1521,    9,    0,  784,  576,  121,
         961,  784,    0]])

答案 1 :(得分:0)

pandas不容易接受数组作为元素,所以numpy在这里是一个很好的帮助。

首先按行(axis=1)制作所有差异:

data="""
A 12 43 51 10 74
B 14 32 31 27 23
C 13 62 13 33 82
D 18 31 73 70 42
""" 
pd.read_table(io.StringIO(data),header=None,index_col=0,sep=' ')

all_differences=np.apply_along_axis(lambda x:np.subtract.outer(x,x).ravel(),axis=1,arr=df)

然后排序切断:

all_differences.sort(axis=1)

并选择好的值,丢弃L[i]-L[i]生成的0。

n=df.shape[1]

cutoff =[i for i in range(n*n)  if  n*n*5//100<=i<n*(n-1)//2 or  n*(n+1)//2<=i<n*n*95//100]

res=2.**all_differences[:,cutoff]