Question

另一个标题可能是为什么lxml.etree.ElementTree.write不相信我指定的编码？

使用Python 3.6将一些json响应转换为某种XML方言。 json是正确的utf-8，我对数据的所有操作都是使用lxml.builder将其包装在XML标签中。

我希望能够在浏览器中检查xml结果，因此我使用write中的lxml.etree.ElementTree方法创建一个我用Firefox（或Chrome或IE或IE）打开的xml文件边缘，没有区别）。

下面是一些测试代码，使用带变音符号的字符串而不是json响应。这很好用。注意xml_declaration=True通知浏览器编码。

# -*- coding: utf-8 -*-

from lxml import etree as ET
from lxml.builder import E          # E *is* ElementMaker()

s = 'Björn Nøsflùgl in Israël'      # ö = c3 b6, ø = c3 b8, ù = c3 b9, ë = c3 ab

xml = E.myXML(E.name(s))            # <class 'lxml.etree._Element'>
tree = ET.ElementTree(xml)          # <class 'lxml.etree._ElementTree'>

tree.write(open('1.xml', 'wb'), xml_declaration=True, encoding='utf-8')
# xml declaration says 'UTF-8', Firefox renders correctly

然而，当我对json响应做同样的事情时，变音符号会被破坏。

编辑：以下演示了此问题（在Windows / Python 3.6虚拟环境中）。

# -*- coding: utf-8 -*-  

import requests  
import json 
from lxml import etree as ET  
from lxml.builder import E  

URL = '''http://vocab.getty.edu/sparql.json?query=SELECT ?term WHERE {?subject luc:term "löss*"; xl:prefLabel [dct:language gvp_lang:nl; xl:literalForm ?term]}'''

gvp_json = requests.get(URL).json()

with open('gvp_response.json', 'w') as f:           
    f.write(str(gvp_json))

for record in gvp_json['results']['bindings']: 
    term = record['term']['value']  # .encode('cp1252').decode('utf-8')
    print(term)    

xml = E.myXML(E.term(term)) 
tree = ET.ElementTree(xml)          
tree.write(open('1.xml', 'wb'), xml_declaration=True, encoding='utf-8')

如果我按照评论中的说明将.encode('cp1252').decode('utf-8')附加到term子句，问题就解决了。但为什么那应该是必要的呢？

编辑2：同时，从this old issue开始，我学会了一种可能的解决方法，即与平台无关或甚至与机器无关：

import locale 
...

myencoding = locale.getpreferredencoding()  
for record in gvp_json['results']['bindings']: 
    s = record['term']['value']
    if myencoding == 'utf-8':
        term = s
    else:
        term = s.encode(myencoding).decode('utf-8') 

    print(term) 
    ...

肯定不漂亮，但它确实有效。它没有encode().decode()不必要的。

说明 - 请CMIIW：print()需要假设一些编码，无法从数据本身中推断出来，因此在打印到控制台时会转向locale.getpreferredencoding()。

但是当我指定它的utf-8时，为什么lxml.etree.ElementTree.write()将数据解释为cp1252-encoded ？恕我直言，encode().decode()根本不需要。

任何学到的评论都将不胜感激。

Answer 1

似乎网络服务器没有为其提供的内容返回正确的HTTP标头。

如果您检查返回的标头，可以看到ISO-8859-1（请参阅Content-Type标题）：

$ python
Python 3.6.3 (default, Oct  3 2017, 21:45:48) 
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import requests
>>> 
>>> url = '''http://vocab.getty.edu/sparql.json?query=SELECT ?term WHERE {?subject luc:term "löss*"; xl:prefLabel [dct:language gvp_lang:nl; xl:literalForm ?term]}'''
>>>
>>> r = requests.get(url)

>>> r.encoding
'ISO-8859-1'
>>> r.apparent_encoding
'ISO-8859-9'
>>> 
>>> from pprint import pprint as pp
>>> pp(dict(r.headers))
{'Access-Control-Allow-Origin': '*',
 'Content-Disposition': 'attachment; filename="sparql.json"',
 'Content-Language': 'en-US',
 'Content-Type': 'application/sparql-results+json;charset=ISO-8859-1',
 'Date': 'Wed, 04 Apr 2018 09:55:40 GMT',
 'Link': '<http://opendatacommons.org/licenses/by/1.0/>; rel="license"',
 'Set-Cookie': 'BIGipServerForest=587573440.45165.0000; path=/; Httponly, '
               'TS01e0ec9b=01612fcdbaa1d82ab58469a933fdc88755f6f4d7323361b3f59734f898a9c7014e66f7c5cbf39c733fd24dc4e8817f73daf98f5aba52069337bdae2569cd6dbf2a6f05579c; '
               'Path=/',
 'Transfer-Encoding': 'chunked'}

文字确实不可读：

>>> r.text
'{\n  "head" : {\n    "vars" : [ "term" ]\n  },\n  "results" : {\n    "bindings" : [ {\n      "term" : {\n        "xml:lang" : "nl",\n        "type" : "literal",\n        "value" : "lÃ¶ssgronden"\n      }\n    } ]\n  }\n}'

python-requests尝试解码响应主体并使用ISO-8859-1。请参阅the docs了解会发生什么。

响应内容的编码仅基于 HTTP标头，遵循RFC 2616到字母。如果可以的话非HTTP知识的优势，可以更好地猜测编码时，您应该在访问之前适当地设置r.encoding 这个属性。

问题是你知道响应是UTF-8编码的，所以你可以强制它：

>>> # force encoding used when accessing r.text
... # see http://docs.python-requests.org/en/master/api/#requests.Response.text
... 
>>> r.encoding = 'utf-8'
>>> 
>>> 
>>> r.text
'{\n  "head" : {\n    "vars" : [ "term" ]\n  },\n  "results" : {\n    "bindings" : [ {\n      "term" : {\n        "xml:lang" : "nl",\n        "type" : "literal",\n        "value" : "lössgronden"\n      }\n    } ]\n  }\n}'
>>> 
>>> 
>>> r.json()
{'head': {'vars': ['term']}, 'results': {'bindings': [{'term': {'xml:lang': 'nl', 'type': 'literal', 'value': 'lössgronden'}}]}}
>>> 
>>> pp(r.json())
{'head': {'vars': ['term']},
 'results': {'bindings': [{'term': {'type': 'literal',
                                    'value': 'lössgronden',
                                    'xml:lang': 'nl'}}]}}
>>>

因此强制从Response获得的requests.get()对象的编码将为您提供可以解码的JSON数据。

Answer 2

Getty support group讨论了这个问题它在10米前修复但尚未部署:-(我重新打开了问题ITSLOD-460并希望它很快就会部署。

lxml.etree.ElementTree mangles diacritics

2 个答案: