UnicodeDecodeError：＆＃39; ascii＆＃39;编解码器无法解码位置2141中的字节0xef：序数不在范围内（128）

Question

这是一个将随机生成的句子发送到不和谐聊天的脚本。但它偶尔会遇到错误：{{1}}

我该如何解决这个错误？

代码：

{{1}}

错误发生在第9行。

Answer 1

我有类似的问题;原来有一个ascii代码，python无法变成标准符号。 要解决这个问题，你必须告诉python编码ascii代码并忽略它无法编码的代码。然后将其解码回utf-8。

    def word_split(self, sentence):
        words = re.split(self.word_split_pattern, sentence)
        words = [w for w in words if len(w) > 0]
        words = [" :: ".join(tag) for tag in nltk.pos_tag(words)]
        words = words.encode('ascii', 'ignore')
        words = words.decode("utf-8"))
        return words

我在你的退货声明之前添加了额外的步骤。