Question

我正在处理二进制文本分类任务，并且我已经在我的数据上应用了矢量化器，如下所示：

count_vect = CountVectorizer(tokenizer=tokens)
X_train_counts = count_vect.fit_transform(docs_train.data)
print X_train_counts.shape
(150, 370)

因为我只想从类'0'中取一个随机样本（在我的例子中）并用类'1'对其进行分类，我做了以下内容：

x =  X_train_counts
y =  docs_train.target

a_x,a_y=x[y==0,:],y[y==0]   
b_x,b_y=x[y==1,:],y[y==1]

inds=np.random.choice(range(a_x.shape[0]),50)
random_x=a_x[inds,:]
random_y=a_y[inds]

x_merged=np.concatenate((random_x,b_x))
y_merged=np.concatenate((random_y,b_y))
X_train,y_train=shuffle(x_merged, y_merged, random_state=0)

但我总是收到以下错误：

x_merged=np.concatenate((random_x,b_x))
ValueError: zero-dimensional arrays cannot be concatenated

虽然当我打印出形状时，它会让我：

print random_x.shape
print b_x.shape
(50, 370)
(50, 370)

任何想法如何修复它？当然，当它链接到标签时保留索引。

更新这是执行以下命令时每个数组的内容/类型的打印：

print random_x[:5,:].toarray()
print b_x[:5,:].toarray()
print (type(random_x))
print (type(b_x))

[[0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]
 [4 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]]
[[0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]
 [0 0 0 ..., 0 0 0]]
<class 'scipy.sparse.csr.csr_matrix'>
<class 'scipy.sparse.csr.csr_matrix'>

Answer 1

编辑：显然Scipy拥有自己的连接方法，包括处理稀疏矩阵的hstack和vstack。

问题确实是类型。要解决它，只需将csr_matrix转换为数组，连接，然后再将其转换为csr_matrix：

     import numpy as np
     import scipy.sparse as m
     a = np.zeros((50, 370))
     b = np.zeros((50, 370))

     am = m.csr_matrix(a).toarray()
     bm = m.csr_matrix(b).toarray()
     cm = m.csr_matrix(np.concatenate((am,bm)))
     print(am.shape,bm.shape,cm.shape)

结果是：

     (50, 370) (50, 370) (100, 370)

合并两个2D阵列时出错零维阵列无法连接

1 个答案: