Question

在pandas列中，我有POS标签列表作为字符串。我认为这必须是字符串，因为print(dataset['text_posTagged'][0][0])打印[。

数据集['text_posTagged']

['VBP', 'JJ', 'NNS', 'VBP', 'JJ', 'IN', 'PRP', 'VBP', 'TO', 'VB', 'PRP', 'RB', 'VBZ', 'DT', 'JJ', 'PRP$', 'NN', 'NN', 'NN', 'NN', 'VBZ', 'JJ']
['UH', 'DT', 'VB', 'VB', 'PRP$', 'NN', 'TO', 'JJ', 'IN', 'PRP', 'MD', 'VB', 'DT', 'VBZ', 'DT', 'NN', 'NN']
['NN', 'VBD', 'NN', 'NN', 'NN', 'DT', 'IN', 'IN', 'NN', 'IN', 'NN', 'NN', 'VBD', 'IN', 'JJ', 'NN', 'NN']

为了将其转换为实际列表，我使用了以下内容。

dataset['text_posTagged'] = dataset.text_posTagged.apply(lambda x: literal_eval(x)).

但是，这会给出 ValueError：格式错误的节点或字符串：nan

当我在具有单词列表的列中应用相同内容时，它可以正常工作。

数据集['文本']

['are', 'red', 'violets', 'are', 'blue', 'if', 'you', 'want', 'to', 'buy', 'us', 'here', 'is', 'a', 'clue', 'our', 'eye', 'amp', 'cheek', 'palette', 'is', 'al']
['is', 'it', 'too', 'late', 'now', 'to', 'say', 'sorry']
['our', 'amazonian', 'clay', 'full', 'coverage', 'foundation', 'comes', 'in', '40', 'shades', 'of', 'creamy', 'goodness']

以下图片are

dataset['text'] = dataset.text.apply(lambda x: literal_eval(x)).
print(dataset['text'][0][0])

在POS标签列表上应用literal_eval有什么问题？如何正确执行？

Answer 1

仅分析非空行。您可以放下lambda。

m = dataset['text_posTagged'].notna()
dataset.loc[m, 'text_posTagged'] = (
    dataset.loc[m, 'text_posTagged'].apply(literal_eval))

如果行数少于或等于100，也可以使用pd.eval：

dataset.loc[m, 'text_posTagged'] = pd.eval(dataset.loc[m, 'text_posTagged'])

将literal_eval应用于POS标签列表的字符串会产生ValueError

1 个答案: