Question

我正在使用chatterbot库开发一个聊天机器人。聊天机器人用我的母语 - ＆gt;斯洛文尼亚，有很多奇怪的人物（例如：š，č，ž）。我正在使用python 2.7。

当我尝试训练机器人时，图书馆会遇到上述角色的问题。例如，当我运行以下代码时：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam še dopusta?",
            "Letos imate še 19 dni dopusta.",
        ])

它会抛出以下错误：

UnicodeDecodeError：'utf8'编解码器无法解码位置12中的字节0x9a：无效的起始字节

我将# -*- coding: utf-8 -*-行添加到我的文件顶部，我还通过编辑器（Sublime text 3）将所有使用过的文件的编码更改为utf-8，我用以下内容更改了系统默认编码代码：

import sys
reload(sys)
sys.setdefaultencoding('utf8')

字符串的类型为 unicode 。

当我尝试使用这些奇怪的字符进行回复时，它可以正常工作，它们没有任何问题。例如，在与上述训练代码相同的执行中运行以下代码（当我在火车字符串中将'š'更改为's'和'č'变为'c'时），不会引发任何错误：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam se dopusta?",
            "Letos imate se 19 dni dopusta.",
        ])    
chatBot.get_response("Koliko imam še dopusta?")

我无法找到解决此问题的方法。有什么建议？提前感谢加载。 :)

编辑：我使用from __future__ import unicode_literals来制作unicode类型的字符串。我还检查了它们是否真的是使用方法type(myString)

的unicode

我还想粘贴这个link。

编辑2：@MallikarjunaraoKosuri - s代码有效，但在我的情况下，我在chatbot实例初始化中还有一件事，其中包括：

chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer',
    storage_adapter='chatterbot.storage.JsonFileStorageAdapter'
)

这是我的错误的原因。 chatbot创建的json存储文件是以我的本地编码创建的，而不是在utf-8中创建的。它似乎是默认存储（.sqlite3），没有这个问题，所以现在我只是避免使用json存储。但我仍然有兴趣找到解决这个错误的方法。

Answer 1

示例中的字符串是不是类型的unicode。

否则Python不会抛出UnicodeDecodeError 这种类型的错误表明，在程序执行的某个步骤，Python尝试将字节串解码为unicode但由于某种原因失败。

在你的情况下，原因是：

解码由utf-8配置

您的源文件不在utf-8中，几乎可以肯定在cp1252中：

import unicodedata

b = '\x9a'

# u = b.decode('utf-8') # UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a 
                        # in position 0: invalid start byte

u = b.decode('cp1252')

print unicodedata.name(u) # LATIN SMALL LETTER S WITH CARON
print u # š

因此，您0x9a来源的cp1252字节无法使用utf-8进行解码。

除了将您的来源转换为utf-8外，最佳解决方案是不做任何事使用Sublime Text 3，您可以通过以下方式轻松完成：File -> Reopen with Encoding -> UTF-8 但是在转换之后不要忘记 Ctrl + C 您的源代码，因为所有š, č, ž字符都将被转换为替换为?。

Answer 2

我们的一些朋友已经提出了很好的解决方案，但我想再将所有解决方案合并为一个。

作者@gunthercox建议在这里描述一些指导原则http://chatterbot.readthedocs.io/en/stable/encoding.html#how-do-i-fix-python-encoding-errors

# -*- coding: utf-8 -*-
from chatterbot import ChatBot

# Create a new chat bot named Test
chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer'
)

chatBot.train([
    "Koliko imam še dopusta?",
    "Letos imate še 19 dni dopusta.",
])

Python终端

>>> # -*- coding: utf-8 -*-
... from chatterbot import ChatBot
>>> 
>>> # Create a new chat bot named Test
... chatBot = ChatBot(
...     'Test',
...     trainer='chatterbot.trainers.ListTrainer'
... )
>>> 
>>> chatBot.train([
...     "Koliko imam še dopusta?",
...     "Letos imate še 19 dni dopusta.",
... ])
List Trainer: [####################] 100%
>>>

UnicodeDecodeError：'utf8'编解码器无法解码位置12的字节0x9a

2 个答案: