由于unicode领导你,Doctest失败了

时间:2015-07-06 10:34:15

标签: python unicode portability doctest

我正在为一个输出标记化单词列表的函数编写doctest。

r'''

>>> s = "This is a tokenized sentence s\u00f3"
>>> tokenizer.tokenize(s0)
['This', 'is', 'a', 'tokenized', 'sentence', 'só']

'''

使用 Python3.4 ,我的测试没有任何问题。

使用 Python2.7 ,我得到:

Expected:
  ['This', 'is', 'a', 'tokenized', 'sentence', 'só']
Got:
  [u'This', u'is', u'a', u'tokenized', u'sentence', u's\xf3']

我的代码必须同时适用于Python3.4和Python2.7。我该如何解决这个问题?

1 个答案:

答案 0 :(得分:3)

Python 3对Unicode对象使用不同的字符串文字。没有u前缀(在规范表示中)并且字面上显示了一些非ascii字符,例如,'só'是Python 3中的Unicode字符串(如果您看到它,它是Python 2上的字节字符串在输出中。)

如果您感兴趣的是函数如何将输入文本拆分为标记;你可以在一个单独的行上打印每个标记,以使Python 2/3兼容:

print("\n".join(tokenizer.tokenize(s0)))
This
is
a
tokenized
sentence
só

作为替代方案,您可以customize doctest.OutputChecker,例如:

#!/usr/bin/env python
r"""
>>> u"This is a tokenized sentence s\u00f3".split()
[u'This', u'is', u'a', u'tokenized', u'sentence', u's\xf3']
"""
import doctest
import re
import sys

class Py23DocChecker(doctest.OutputChecker):
    def check_output(self, want, got, optionflags):
        if sys.version_info[0] > 2:
            want = re.sub("u'(.*?)'", "'\\1'", want)
            want = re.sub('u"(.*?)"', '"\\1"', want)
        return doctest.OutputChecker.check_output(self, want, got, optionflags)

if __name__ == "__main__":
    import unittest

    suite = doctest.DocTestSuite(sys.modules['__main__'], checker=Py23DocChecker())
    sys.exit(len(unittest.TextTestRunner().run(suite).failures))