Question

最近，我正在用乳腺癌数据集做KNN，这个数据集因机器学习学习而闻名。

我在插入库中使用kKnn方法选项的train函数来找到最佳k值，并且我使用了“repeatedcv”方法。

我决定找到最佳k值作为增加重复次数。但是，函数会得出不同的最佳k值。

我的源代码在这里。

  accuracy_data<-vector()
  accuracy_data[1:10]<-0
  current_op<-0
  count_same<-0
  str(knnFit)

  for (i in 1:50){
    cat('\n current repitation is',i)
    set.seed(i*10)
    training_now<-training[sample(nrow(training)),]

    set.seed(i*100)
    ctrl <- trainControl(method="repeatedcv",repeats = 1) 
    formula <- as.formula(paste(col_label_name, ' ~ .' ))
    knnFit <- train(formula, data=training_now,  method = "knn", trControl = ctrl, preProcess = c("center","scale"), tuneLength = 20)
    accuracy_data<-accuracy_data+knnFit$results$Accuracy


    cat('\n',3+which.max(accuracy_data)*2,'\n')

    if (current_op == which.max(accuracy_data)){
      count_same<-count_same+1
    }
    else{
      current_op<-which.max(accuracy_data);
    }

    if (count_same==3){
       cat('\n',i,'time repitition is enough \n')
     break
    }

  }

故意，我曾经重复使用过一次，但是我把它循环了。我积累精度看到收敛但我看不到任何收敛。另外，代码的每个运行时间，最佳k结果都是如此不同。

之后，我使用'class'库中的Knn函数对我赢得的代码进行编码以找到最佳k值。奇怪的是，它看起来很成功。但我仍然不知道为什么插入功能会返回不可接受的结果。

这是我的代码使用类库中的knn函数。

  accuracy_data<-vector()
  accuracy_data[1:10]<-0
  current_op<-0
  count_same<-0

  print('Finding best parameter k by using 10-fold cross-validation method. please wait....')
  for (k in (1:100)){
    random_rows<-sample(nrow(training))
    training<-training[random_rows,]
    train_label<-train_label[random_rows]
    print(paste('The number of repeatation:',k))


    for (j in (1:20)) { ## the number k that will be swept
      kvalue=2*j-1
      acc<-0  
      for (i in 1:fold_n){ ## accmulate accuracy
        # cat(point[i],point[i+1],'\n')

        training_now<-training[-(point[i]:point[i+1]),]
        train_label_now<-train_label[-(point[i]:point[i+1])]
        validation_set<-training[(point[i]:point[i+1]),]
        validation_label<-train_label[(point[i]:point[i+1])]

        validation_pred<-knn(train =training_now , test = validation_set , cl = train_label_now, k=kvalue)

        accuracy<-sum(ifelse(validation_label==validation_pred,1,0)) / length(validation_pred)
        acc<-accuracy+acc
      }
      cat('\n Accuracy:',acc/fold_n,'when k=',kvalue)
      accuracy_data[j]<-accuracy_data[j]+acc/fold_n
    }

    if (current_op==which.max(accuracy_data)){
      count_same<-count_same+1
    }
    else{
      count_same<-0
      current_op<-which.max(accuracy_data)
    }

    if (count_same==3){
      cat('\n',k,'time repitition is enough \n')
      break;
    }        

    current_op<-which.max(accuracy_data)
    cat('\n maximum row:',which.max(accuracy_data),'\n')
  }

我认为两个结果应该收敛到具有最大精度的相同k，但是第一个结果给出了不同的最优k，尽管收敛。

然而，第二个给出了最优k的一致结果，并根据迭代收敛

与使用类库的我自己的代码相比，KNN重复使用cv方法返回不合理的结果

0 个答案: