示例代码:
>>> import json
>>> json_string = json.dumps("ברי צקלה")
>>> print json_string
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"
问题:它不是人类可读的。我(智能)用户想要使用JSON转储验证甚至编辑文本文件。 (我宁愿不使用XML)
有没有办法将对象序列化为utf-8 json字符串(而不是\ uXXXX)?
这没有帮助:
>>> output = json_string.decode('string-escape')
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"
这个有效,但是如果任何子对象是python-unicode而不是utf-8,它会转储垃圾:
>>> #### ok:
>>> s= json.dumps( "ברי צקלה", ensure_ascii=False)
>>> print json.loads(s)
ברי צקלה
>>> #### NOT ok:
>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> print d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94',
2: u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'}
>>> s = json.dumps( d, ensure_ascii=False, encoding='utf8')
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
××¨× ×¦×§××
答案 0 :(得分:457)
使用ensure_ascii=False
切换到json.dumps()
,然后手动将值编码为UTF-8:
>>> json_string = json.dumps(u"ברי צקלה", ensure_ascii=False).encode('utf8')
>>> json_string
'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print json_string
"ברי צקלה"
如果您要将其写入文件,则可以使用io.open()
代替open()
生成在编写时为您编码Unicode值的文件对象,然后使用json.dump()
代替写入该文件:
with io.open('filename', 'w', encoding='utf8') as json_file:
json.dump(u"ברי צקלה", json_file, ensure_ascii=False)
在Python 3中,内置open()
是io.open()
的别名。请注意,有bug in the json
module ensure_ascii=False
标记可以生成unicode
和str
个对象的 mix 。 Python 2的解决方法是:
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(u"ברי צקלה", ensure_ascii=False)
# unicode(data) auto-decodes data to unicode if str
json_file.write(unicode(data))
如果要传入字节字符串(Python 2中的类型str
,Python 3中的bytes
)编码为UTF-8,请确保同时设置encoding
关键字:< / p>
>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}
>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
ברי צקלה
请注意您的第二个样本不有效的Unicode;你给它UTF-8字节作为unicode文字,从不工作:
>>> s = u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'
>>> print s
××¨× ×¦×§××
>>> print s.encode('latin1').decode('utf8')
ברי צקלה
只有当我将该字符串编码为Latin 1(其unicode代码点一对一映射到字节)时才解码为UTF-8,您是否看到了预期的输出。这与JSON无关,而且与使用错误输入的一切有关。结果称为Mojibake。
如果从字符串文字中获取了Unicode值,则使用错误的编解码器对其进行解码。可能是您的终端配置错误,或者您的文本编辑器使用与您告诉Python读取文件不同的编解码器保存了源代码。或者您从应用了错误编解码器的库中获取它。 这一切都与JSON库无关。。
答案 1 :(得分:51)
写入文件
import codecs
import json
with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)
打印到stdin
import codecs
import json
print(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))
答案 2 :(得分:27)
更新:这是错误的答案,但了解它为什么错了仍然有用。看评论。
unicode-escape
怎么样?
>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1": "ברי צקלה", "2": "ברי צקלה"}
答案 3 :(得分:24)
彼得斯&#39; python 2变通方法在边缘情况下失败:
d = {u'keyword': u'bad credit \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False).decode('utf8')
try:
json_file.write(data)
except TypeError:
# Decode data to Unicode first
json_file.write(data.decode('utf8'))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)
它崩溃在第3行的.decode(&#39; utf8&#39;)部分。我通过避免该步骤以及ascii的特殊外壳使程序更简单来解决问题:
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False, encoding='utf8')
json_file.write(unicode(data))
cat filename
{"keyword": "bad credit çredit cards"}
答案 4 :(得分:7)
以下是我的理解var阅读答案以上和谷歌。
# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
#python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
#1.reload
#importlib,sys
#importlib.reload(sys)
#sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
#not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
#2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
#too complex
#3.control by your own (best)
#==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)
#see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes
#how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
#http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""
from __future__ import print_function
import json
a = {"b": u"中文"} # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')
# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')
# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b": "\\u4e2d\\u6587"}'
'{"b": "\\u4e2d\\u6587"}'
u'{"b": "\u4e2d\u6587"}'
'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'
u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'
#python3
{'b': '中文'}
'{"b": "\\u4e2d\\u6587"}'
b'{"b": "\\u4e2d\\u6587"}'
'{"b": "中文"}'
b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
b'\xe4\xb8\xad\xe6\x96\x87'
'中文'
'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""
答案 5 :(得分:5)
这是我使用json.dump()的解决方案:
def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
with codecs.open(p, 'wb', 'utf_8') as fileobj:
json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)
其中SYSTEM_ENCODING设置为:
locale.setlocale(locale.LC_ALL, '')
SYSTEM_ENCODING = locale.getlocale()[1]
答案 6 :(得分:3)
尽可能使用编解码器,
with codecs.open('file_path', 'a+', 'utf-8') as fp:
fp.write(json.dumps(res, ensure_ascii=False))
答案 7 :(得分:1)
从Python 3.7开始,以下代码可以正常工作:
from json import dumps
result = {"symbol": "ƒ"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)
输出:
{"symbol": "ƒ"}
答案 8 :(得分:1)
如果要从文件和文件内容阿拉伯文本加载JSON字符串。这样就可以了。
{
"key1" : "لمستخدمين",
"key2" : "إضافة مستخدم"
}
with open(arabic.json, encoding='utf-8') as f:
# deserialises it
json_data = json.load(f)
fh.close()
# json formatted string
json_data2 = json.dumps(json_data, ensure_ascii = False)
# If have to get the JSON index in Django Template file, then simply decode the encoded string.
json.JSONDecoder().decode(json_data2)
完成!现在我们可以将结果作为带有阿拉伯值的JSON索引来获取。
答案 9 :(得分:1)
在此感谢您的原始回答。使用 python 3 下面的代码行:
print(json.dumps(result_dict,ensure_ascii=False))
还可以。如果不是必须的话,请考虑尝试在代码中不要写太多文本。
这对于python控制台可能已经足够了。但是,为了使服务器满意,您可能需要按照此处的说明设置语言环境(如果它在apache2上) http://blog.dscpl.com.au/2014/09/setting-lang-and-lcall-when-using.html
基本上在ubuntu上安装he_IL或任何语言区域设置 检查是否未安装
locale -a
以XX是您的语言安装它
sudo apt-get install language-pack-XX
例如:
sudo apt-get install language-pack-he
将以下文本添加到/ etc / apache2 / envvrs
export LANG='he_IL.UTF-8'
export LC_ALL='he_IL.UTF-8'
比您希望不会从apache上得到python错误
打印(js) UnicodeEncodeError:“ ascii”编解码器无法对位置41-45中的字符进行编码:序数不在range(128)中
也请在apache中尝试将utf设为默认编码,如下所示:
How to change the default encoding to UTF-8 for Apache?
尽早执行此操作是因为apache错误可能很难调试,并且您可能会错误地认为它来自python,在这种情况下可能并非如此
答案 10 :(得分:0)
>>>import json
>>>json_string = json.dumps("ברי צקלה")
>>>json_string.encode('ascii').decode('unicode-escape')
'"ברי צקלה"'
>>>s = '漢 χαν хан'
>>>print('unicode: ' + s.encode('unicode-escape').decode('utf-8'))
unicode: \u6f22 \u03c7\u03b1\u03bd \u0445\u0430\u043d
>>>u = s.encode('unicode-escape').decode('utf-8')
>>>print('original: ' + u.encode("utf-8").decode('unicode-escape'))
original: 漢 χαν хан
原始资源:https://blog.csdn.net/chuatony/article/details/72628868
答案 11 :(得分:-3)
正如Martijn所指出的那样,在json.dumps中使用ensure_ascii = False是解决这个问题的正确方向。但是,这可能会引发异常:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 1: ordinal not in range(128)
您需要在site.py或sitecustomize.py中进行额外设置才能正确设置sys.getdefaultencoding()。 site.py位于lib / python2.7 /下,sitecustomize.py位于lib / python2.7 / site-packages下。
如果你想使用site.py,在def setencoding()下:将第一个if 0:改为1,如果是1:那么python将使用你的操作系统的语言环境。
如果您更喜欢使用sitecustomize.py,如果您尚未创建它,则可能不存在。简单地说这些:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
然后你可以用utf-8格式做一些中文json输出,例如:
name = {"last_name": u"王"}
json.dumps(name, ensure_ascii=False)
您将获得一个utf-8编码的字符串,而不是\ u转义的json字符串。
验证您的默认编码:
print sys.getdefaultencoding()
您应该获得“utf-8”或“UTF-8”来验证您的site.py或sitecustomize.py设置。
请注意,您无法在交互式python控制台上执行sys.setdefaultencoding(“utf-8”)。