将Unicode对象与非ASCII符号转换为字符串对象(在Python中)

时间:2010-09-08 15:40:58

标签: python string unicode urllib unicode-string

我想通过在线服务发送要翻译的中文字符,并返回生成的英文字符串。我正在使用简单的JSON和urllib。

是的,我在宣布。

# -*- coding: utf-8 -*-

在我的代码之上。

如果我将urllib提供给字符串类型对象,即使该对象包含Unicode信息,现在一切正常。我的函数名为translate

例如:

stringtest1 = '無與倫比的美麗'

print translate(stringtest1)

导致正确翻译并执行

type(stringtest1) 

确认这是一个字符串对象。

但是如果做的话

stringtest1 = u'無與倫比的美麗'

并尝试使用我的翻译功能我收到此错误:

  File "C:\Python27\lib\urllib.py", line 1275, in urlencode
    v = quote_plus(str(v))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 2-8: ordinal not in range(128)

经过一番研究,似乎这是一个常见的问题:

现在,如果我输入一个脚本

stringtest1 = '無與倫比的美麗' 
stringtest2 = u'無與倫比的美麗'
print 'stringtest1',stringtest1
print 'stringtest2',stringtest2

执行它返回:

stringtest1 無與倫比的美麗
stringtest2 無與倫比的美麗

但只需在控制台中键入变量:

>>> stringtest1
'\xe7\x84\xa1\xe8\x88\x87\xe5\x80\xab\xe6\xaf\x94\xe7\x9a\x84\xe7\xbe\x8e\xe9\xba\x97'
>>> stringtest2
u'\u7121\u8207\u502b\u6bd4\u7684\u7f8e\u9e97'

让我知道。

我的问题是我无法控制要翻译的信息如何影响我的功能。而且似乎我必须以Unicode格式提供它,该函数不接受它。

那么,我如何将一件事转换成另一件?

我已阅读Stack Overflow问题 Convert Unicode to a string in Python (containing extra symbols)

但这不是我追求的。 Urllib接受字符串对象但不接受Unicode对象,两者都包含相同的信息

好吧,至少在Web应用程序的眼中,我发送的是未更改的信息,我不确定它们是否仍然是Python中的等价物。

1 个答案:

答案 0 :(得分:8)

当您获得unicode对象并想要从中返回UTF-8编码的字节字符串时,请使用theobject.encode('utf8')

您不知道传入的对象是str还是unicode似乎很奇怪 - 当然您也可以控制呼叫网站到该功能?!但如果情况确实如此,无论出于什么奇怪的原因,你可能需要这样的东西:

def ensureutf8(s):
    if isinstance(s, unicode):
        s = s.encode('utf8')
    return s

仅对有条件地进行编码,即,如果它接收到unicode对象,而不是它接收的对象已经是字节字符串。它在任何一种情况下都返回一个字节串。

顺便说一句,你的混淆部分似乎是因为你不知道只是在翻译提示下输入一个表达式会显示你的repr,这与你得到的效果不一样print;。 - )