Python - 处理Unicode解码错误＆＃39; utf8＆＃39;

Question

由于我无法找到问题的一站式答案，我在从不同的线程学习后发布我的解决方案：

我使用pandas导入数据，如下所示

import pandas as pd
data=read_csv(".../file.csv",encoding='utf8')

导致错误：

UnicodeDecodeError: 'utf8' codec can't decode byte 0x92 in position 352: invalid start type

当我将编码更改为Latin-1

时，要解决这个问题

data=read_csv(".../file.csv",encoding='Latin-1')

这在尝试应用vectorizer.fit_transform()

时导致错误

ValueError: np.nan is an invalid document, expected byte or unicode string

Answer 1

使用＆＃39; Latin-1＆＃39;导入数据编码：

data=read_csv(".../file.csv",encoding='Latin-1')

接下来使用以下内容执行vectorizer.fit_transform()时：

vectorizer.fit_transform(train['desc'].values.astype('U')) #This example is for a specific dictionary type which I had named train with desc as an key

这应解决问题