Question

我正在尝试将评论数据集分类为两个类，比如A类和B类。我使用LightGBM进行分类。

我已经多次更改了分类器的参数，但结果并没有太大差异。

我认为问题在于预处理步骤。我定义了一个如下所示的函数来处理预处理。我使用了Stemming并删除了stopwords。我不知道我错过了什么。我尝试过LancasterStemmer和PorterStemmer

stops = set(stopwords.words("english"))
def cleanData(text, lowercase = False, remove_stops = False, stemming = False, lemm = False):
    txt = str(text)
    txt = re.sub(r'[^A-Za-z0-9\s]',r'',txt)
    txt = re.sub(r'\n',r' ',txt)

    if lowercase:
        txt = " ".join([w.lower() for w in txt.split()])

    if remove_stops:
        txt = " ".join([w for w in txt.split() if w not in stops])

    if stemming:
        st = PorterStemmer()
        txt = " ".join([st.stem(w) for w in txt.split()])

    if lemm:
        wordnet_lemmatizer = WordNetLemmatizer()
        txt = " ".join([wordnet_lemmatizer.lemmatize(w) for w in txt.split()])
    return txt

是否还有其他预处理步骤可以提高准确度。

数据集的网址：Dataset

编辑：

我使用的参数如下所述。

params = {'task': 'train',
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_logloss',
    'learning_rate': 0.01, 
    'max_depth': 22, 
    'num_leaves': 78,
    'feature_fraction': 0.1, 
    'bagging_fraction': 0.4, 
    'bagging_freq': 1}

我已将depth和num_leaves参数与其他参数一起更改。但准确性有点卡在一定程度上。

Answer 1

有几件事需要考虑。首先，你的训练集不均衡 - 班级分布约为70％/ 30％。你需要在训练中考虑这个事实。您使用哪些类型的功能？使用正确的功能集可以提高您的性能。

什么是最好的情感分析预处理技术。？

1 个答案: