Question

这是我的代码：

data = pd.read_csv('asscsv2.csv', encoding = "ISO-8859-1", error_bad_lines=False);
data_text = data[['content']]
data_text['index'] = data_text.index
documents = data_text

看起来像

print(documents[:2])
                                              content  index
 0  Pretty extensive background in Egyptology and ...      0
 1  Have you guys checked the back end of the Sphi...      1

然后我通过gensim定义一个预处理函数

stemmer = PorterStemmer()
def lemmatize_stemming(text):
    return stemmer.stem(WordNetLemmatizer().lemmatize(text, pos='v'))
def preprocess(text):
    result = []
    for token in gensim.utils.simple_preprocess(text):
        if token not in gensim.parsing.preprocessing.STOPWORDS and len(token) > 3:
            result.append(lemmatize_stemming(token))
    return result

当我使用此功能时：

processed_docs = documents['content'].map(preprocess)

出现

TypeError: decoding to str: need a bytes-like object, float found

如何将csv文件编码为类似字节的对象，或者如何避免这种错误？

Answer 1

您的数据包含NaN。您可以先将它们放下：

documents = documents.dropna(subset=['content'])

或者，您可以用空字符串填充所有NaN，然后将列转换为字符串类型，然后映射基于字符串的函数。

documents['content'].fillna('').astype(str).map(preprocess)

这是因为您的函数预处理具有仅接受字符串数据类型的函数调用。

编辑：

我怎么知道您的数据包含NaN？ Numpy nan被视为浮点值

>>> import numpy as np
>>> type(np.nan)
<class 'float'>

Answer 2

这个：

processed_docs = documents['content'].map(preprocess)

是因为某些单元格中的数据框具有无法预处理的NaN 值，为此，您必须删除：

documents.dropna(subset = ["content"], inplace=True) # drop those rows which have NaN value cells

那些不需要的行，然后应用预处理。

这将解决您的问题。

如何避免解码到str：在熊猫中需要类似字节的对象错误？

2 个答案: