Question

我有一个csv，其中包含要导入到ndarray的数据，以便可以对其进行操作。 CSV数据的格式如下。

我想连续获取c = 1的所有元素，而将c = 0的所有元素连续获取，就像这样，以减少维数。

1  1 1 5 2 2 5 4 4 1
0  3 3 1

但是，不同的u和我不能在同一列中，因此最终结果需要零填充，像这样。我想保留c变量列，因为它代表一个分类变量，所以我需要保留它的值以便能够在信息和c值之间建立对应关系。我不想只是根据c的值来分离数据。

1 1 1 5 2 2 5 0 0 0 4 4 1
0 0 0 0 0 0 0 3 3 1 0 0 0

到目前为止，我正在使用df = pd.read_csv读取.csv文件，并使用arr=df.to_numpy()创建多维数组/张量。之后，我将排列列的顺序以使c列成为第一个，从而获得此数组[[ 1 1 1 5][ 1 2 2 5][ 0 3 3 1][ 1 4 4 1]]。

然后我做arr = arr.reshape(2,)，因为c有两个可能的值，然后根据元组的长度删除除第一c列以外的所有列。因此，在这种情况下，由于每个元组中有4个元素，而我正在做16个元素，arr = np.delete(arr, (4,8,12), axis=1)。

最后，当u与两列都不匹配时，我将用零填充数组。

nomatch = 0
for j in range(1, cols, 3):
    if arr[0][j] != arr[1][j]:
        nomatch+=1
z = np.zeros(nomatch*3, dtype=arr.dtype)
h1 = np.split(arr, [0][0])
new0 = np.concatenate((arr[0],z))
new1 = np.concatenate((z,arr[1])) # problem

final = np.concatenate((new0, new1))

在带有注释的一行中，问题是如何在保持第一个元素的同时连接数组。我不仅可以追加，还希望能够设置开始索引和结束索引，并仅在这些索引上修补零。通过使用串联，我没有得到预期的结果，因为我正在更改第一个元素（数组的头部应保持不变）。

此外，我不禁想知道这是否是达到最终结果的好方法。例如，在使用np.resize()进行重塑之前，我尝试使用调整大小来填充数组，但是，无论我用作参数的尺寸如何，当我打印结果时，该数组都与以前的数组相同，这是行不通的。一个好的解决方案是，如果存在3个或更多可能的c值，则可以对其进行调整，并且可以包括多个类似于c的值，例如c1，c2 ...，这些值将成为表中的行。我非常感谢所有的意见和建议。

Answer 1

这是一种紧凑的numpy方法：

asnp = df.to_numpy()
(np.bitwise_xor.outer(np.arange(2),asnp[:,3:])*asnp[:,:3]).reshape(2,-1)
# array([[1, 1, 5, 2, 2, 5, 0, 0, 0, 4, 4, 1],
#        [0, 0, 0, 0, 0, 0, 3, 3, 1, 0, 0, 0]])

更新：多类别：

类别必须是最后k列，并且列标题以“ cat”开头。我们为类别的每个唯一组合创建一行，该组合会添加到该行之前。

代码：

import numpy as np
import pandas as pd
import itertools as it

def spreadcats(df):
    cut = sum(map(str.startswith,df.columns,it.repeat("cat")))
    data = df.to_numpy()
    cats,idx = np.unique(data[:,-cut:],axis=0,return_inverse=True)
    m,n,k,_ = data.shape + cats.shape
    out = np.zeros((k,cut+(n-cut)*m),int)
    out[:,:cut] = cats
    out[:,cut:].reshape(k,m,n-cut)[idx,np.arange(m)] = data[:,:-cut]
    return out


x = np.random.randint([1,1,1,0,0],[10,10,10,3,2],(10,5))
df = pd.DataFrame(x,columns=[f"data{i}" for i in "123"] + ["cat1","cat2"])

print(df)
print(spreadcats(df))

样品运行：

   data1  data2  data3  cat1  cat2
0      9      5      1     1     1
1      7      4      2     2     0
2      3      9      8     1     0
3      3      9      1     1     0
4      9      1      7     2     1
5      1      3      7     2     0
6      2      8      2     1     0
7      1      4      9     0     1
8      8      7      3     1     1
9      3      6      9     0     1
[[0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 4 9 0 0 0 3 6 9]
 [1 0 0 0 0 0 0 0 3 9 8 3 9 1 0 0 0 0 0 0 2 8 2 0 0 0 0 0 0 0 0 0]
 [1 1 9 5 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 7 3 0 0 0]
 [2 0 0 0 0 7 4 2 0 0 0 0 0 0 0 0 0 1 3 7 0 0 0 0 0 0 0 0 0 0 0 0]
 [2 1 0 0 0 0 0 0 0 0 0 0 0 0 9 1 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]]

矮胖和大熊猫-使用零填充重塑

1 个答案: