我从www.amazon.com收集了一些关于书籍，DVD，手机和相机的评论。我将评论改为1星为负，5星为正。负面和正面评论的比例是1：5。收集的评论被转换为Document-Term-Matrix，并且使用卡方特征子集选择方法和一些我们提出的特征选择方法来选择少数特征。我们采用了一些分类算法，如MLP，SVM，DT等来对样本进行分类。我在十倍交叉验证框架下报告了结果。
为了将我们的结果与基线进行比较，评审员要求我进行人体评估以比较我们的结果。如何在这里执行注释？我们是否应该在随机选择的样本上使用注释器来比较我们的结果，或者我们应该对所有样本执行注释？
我的教授要求对所有样本进行注释，然后将数据集分成10倍，然后计算注释器响应的10倍准确度的平均值，以便比较我们的结果？
我找到了一些文献，他们正在对随机选择的样本进行注释。在这方面提出的任何参考资料对我都很有帮助。 提前谢谢。