我有一个术语 - 文档矩阵和相应的标签矩阵我必须将数据集分成10个部分,并使用任意随机7个部分来训练libsvm分类器并测试其余3个部分。 对于所有可能的情况,即10C7,我必须这样做。 以下是使用SVM进行培训和测试的代码,我无法理解如何对所有情况进行分类和迭代。
m = svm_train(labels[0:2000], rows_1[0:2000], '-c '+str(k)+' -g '+str(g))
p_label, p_acc, p_val = svm_predict(labels[2000:0], rows_1[2000:0], m)
acc.append(p_acc)
其中'标签'是标签数组和' rows_1'是术语文档矩阵的行。 我是新手,请帮忙!
答案 0 :(得分:3)
您必须随机播放数据并为训练和测试折叠创建索引。例如,如果您有2000个训练样例,并且想要使用10个折叠,那么您将拥有:
fold1
test[0:200]
train[200:2000]
fold2
test[200:400]
train[0:200, 400:2000]
etc
以下是Python中的示例代码:
import numpy as np
indices = np.random.permutation(2000) # create a list of 2000 unique numbers in random order
n_folds = 10
fold_step = int(2000 / n_folds)
acc = []
for fold in range(0, 2000, fold_step):
test_labels = [labels[i] for i in indices[fold:fold+fold_step]]
train_labels = [l for l in labels if l not in test_labels]
test_rows = [rows_1[i] for i in indices[fold:fold+fold_step]]
train_rows = [r for r in rows_1 if r not in test_rows]
m = svm_train(train_labels, train_rows, '-c '+str(k)+' -g '+str(g))
p_label, p_acc, p_val = svm_predict(test_labels, test_rows, m)
acc.append(p_acc)
print("Accuracy: {}%".format(np.mean(acc)))