我试图获取一个数据帧并创建另一个数据帧,所有可能的列组合和相应值之间的差异,即在11-apr列AB应该是(BA)= 0等。
例如,从
开始 Dt A B C D
11-apr 1 1 1 1
10-apr 2 3 1 2
如何获得如下所示的新框架:
我遇到过以下帖子,但无法将其转置为适用于列。
答案 0 :(得分:5)
您可以使用:
from itertools import combinations
df = df.set_index('Dt')
cc = list(combinations(df.columns,2))
df = pd.concat([df[c[1]].sub(df[c[0]]) for c in cc], axis=1, keys=cc)
df.columns = df.columns.map(''.join)
print (df)
AB AC AD BC BD CD
Dt
11-apr 0 0 0 0 0 0
10-apr 1 -1 0 -2 -1 1
答案 1 :(得分:4)
确保您的索引为Dt
df = df.set_index('Dt')
使用numpy
s np.tril_indices
并切片
有关np.triu_indices
v = df.values
i, j = np.tril_indices(len(df.columns), -1)
我们可以为列创建pd.MultiIndex
。这使得它更适用于长度超过一个字符的列名。
pd.DataFrame(
v[:, i] - v[:, j],
df.index,
[df.columns[j], df.columns[i]]
)
A B A B C
B C C D D D
Dt
11-apr 0 0 0 0 0 0
10-apr 1 -1 -2 0 -1 1
但我们也可以
pd.DataFrame(
v[:, i] - v[:, j],
df.index,
df.columns[j] + df.columns[i]
)
AB AC BC AD BD CD
Dt
11-apr 0 0 0 0 0 0
10-apr 1 -1 -2 0 -1 1
np.tril_indices
解释了
这是一个numpy
函数,它返回两个数组,当它们一起使用时,提供方形矩阵的下三角形的位置。在对所有事物组合进行操作时,这很方便,因为这个下三角形表示矩阵的一个轴与另一个轴的所有组合。
考虑数据框d
以进行说明
d = pd.DataFrame(np.array(list('abcdefghijklmnopqrstuvwxy')).reshape(-1, 5))
d
0 1 2 3 4
0 a b c d e
1 f g h i j
2 k l m n o
3 p q r s t
4 u v w x y
当看起来像坐标对时,三角形索引看起来像这样
i, j = np.tril_indices(5, -1)
list(zip(i, j))
[(1, 0),
(2, 0),
(2, 1),
(3, 0),
(3, 1),
(3, 2),
(4, 0),
(4, 1),
(4, 2),
(4, 3)]
我可以使用d
和i
来操纵j
个值
d.values[i, j] = 'z'
d
0 1 2 3 4
0 a b c d e
1 z g h i j
2 z z m n o
3 z z z s t
4 z z z z y
你可以看到它只针对下三角
天真时间测试
答案 2 :(得分:0)
Itertools
模块应该可以帮助您创建所需的组合/排列。
from itertools import combinations
# Creating a new pd.DataFrame
new_df = pd.DataFrame(index=df.index)
# list of columns
columns = df.columns
# Create all combinations of length 2 . eg. AB, BC, etc.
for combination in combinations(columns, 2):
combination_string = "".join(combination)
new_df[combination_string] = df[combination[1]]-df[combination[0]]
print new_df
AB AC AD BC BD CD
Dt
11-apr 0 0 0 0 0 0
10-apr 1 -1 0 -2 -1 1
答案 3 :(得分:0)
itertools.combinations
会帮助您:
import itertools
pd.DataFrame({'{}{}'.format(a, b): df[a] - df[b] for a, b in itertools.combinations(df.columns, 2)})
结果是:
AB AC AD BC BD CD
Dt
11-apr 0 0 0 0 0 0
10-apr -1 1 0 2 1 -1