我使用以下源文件打印了我的测试XML文件,但它没有正确处理非ASCII字符:
xmltest.py:
import xml.sax.xmlreader
import xml.sax.saxutils
def testJunk(file, e2content):
attr0 = xml.sax.xmlreader.AttributesImpl({})
x = xml.sax.saxutils.XMLGenerator(file)
x.startDocument()
x.startElement("document", attr0)
x.startElement("element1", attr0)
x.characters("bingo")
x.endElement("element1")
x.startElement("element2", attr0)
x.characters(e2content)
x.endElement("element2")
x.endElement("document")
x.endDocument()
如果我这样做
>>> import xmltest
>>> xmltest.testJunk(open("test.xml","w"), "ascii 001: \001")
然后我得到一个字符代码为001的xml文件。我无法弄清楚如何逃避这个角色。 Firefox告诉我它不是格式良好的XML并抱怨该角色。我该如何解决这个问题?
澄清:我正在尝试记录我无法控制的函数的输出,它输出非ASCII字符。
更新:好的,现在我知道characters outside one of the accepted ranges无法以
的形式编码。 (或者更确切地说,它们可以被编码,但这并不能帮助任何w / r / t XML格式不正确。)但如果我定义了这样做的话,它们可以转义。
(供将来参考:W3C在XML标准之外有a useful page,其中说“控制代码应该用适当的标记替换”,但实际上没有提出任何示例。)
如果我想通过以下方式转义超出可接受范围的字符:
转义前的 :( 
表示一个字符,而不是字面上的8个字符的字符串)
abcdefghijkl
逃跑后:
abcd<u>0001</u>efgh<u>0002</u>ijkl
我怎么能在python中做到这一点?
def escapeXML(src)
dest = ??????
return dest
答案 0 :(得分:4)
"\001"
又名“\ x01”是ASCII控制代码。但它不是允许的XML字符之一。唯一的ASCII control codes which qualify是“\ t”,“\ n”和“\ r”。
示例:
>>> import xml.etree.cElementTree as ET
# Raw newline works
>>> t = ET.fromstring("<e>\n</e>")
>>> t.text
'\n'
# Hex escaping of a newline works
>>> t = ET.fromstring("<e>
</e>")
>>> t.text
'\n'
# Hex escaping of "\x01" doesn't work; it's not a valid XML character
>>> t = ET.fromstring("<e></e>")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<string>", line 106, in XML
cElementTree.ParseError: reference to invalid character number: line 1, column 3
如果要在XML文档中以某种方式包含无效的XML字符,则必须通过额外的转义级别从XML解析器中隐藏它们。该机制需要由您的文档的读者记录,发布和理解。
例如,在Microsoft Excel 2007+ XLSX文件中,非有效XML字符的Unicode代码点通过将它们表示为_xhhhh_
而被走私通过解析器,其中hhhh
是代码点的十六进制表示形式。在您的示例中,这将是7个字节_x0001_
。请注意,有必要转义文本中的任何_
字符,否则这些字符将被错误地解释为引入_xhhhh_
序列。
这是丑陋,痛苦,低效等等。您可能希望考虑其他方法。是否需要使用XML? CSV文件(震惊,恐怖!)会在您的应用程序中做得更好吗?
编辑有关OP编码提案的一些注意事项:
一个。虽然\r
是一个有效的XML 1.0输入字符,但它受mandatory immediate transmogrification的约束,因此您也应该将其转义。
B中。该方案假设/希望<u>hhhh</u>
不能与任何其他标记混淆。
℃。我收回了我上面提到的有关Microsoft转义方案的内容。它相对美丽,无痛,高效。要为温和的读者完成您的方案图片,您应该显示需要的代码来解决讨厌的碎片并将碎片粘合在一起。请记住,MS方案需要有人编写一个转义函数和一个非转义函数,而您的方案需要对每个工具(SAX,DOM,ElementTree)进行不同的处理。
d。在详细级别,代码有点漂亮:
if (len(g1) > 0):
应为if g1:
if (not foo == None):
与普遍接受的习语有三个偏差记录:(1)括号(2)not x == y
而不是x != y
(3)!= None
而不是{ {1}}
不要将is not None
(以及其他内置对象的名称)用作自己变量的名称。
编辑2 您想使用正则表达式拆分字符串。为什么不使用re.split?
list
答案 1 :(得分:1)
这似乎对我有用。
r = re.compile(ur'[^\x09\x0A\x0D\x20-\x7E\x85\xA0-\xFF' \
+ ur'\u0100-\uD7FF\uE000-\uFDCF\uFDE0-\uFFFD]')
def escapeInvalidXML(string):
def replacer(m):
return "<u>"+('%04X' % ord(m.group(0)))+"</u>"
return re.sub(r,replacer,string)
示例:
>>> s='this is a \x01 test \x0B of something'
>>> escapeInvalidXML(s)
'this is a <u>0001</u> test <u>000B</u> of something'
>>> s2 = u'this is a \x01 test \x0B of \uFDD0'
>>> escapeInvalidXML(s2)
u'this is a <u>0001</u> test <u>000B</u> of <u>FDD0</u>'
字符范围为http://www.w3.org/TR/2006/REC-xml-20060816/#charsets,我没有逃过一切,只是在\ uFFFF之下。
更新:哎呀,忘了适应SAX的startElement / characters方法,&amp;妥善处理多行:
import re
import xml.sax.xmlreader
import xml.sax.saxutils
r = re.compile(ur'(.*?)(?:([^\x09\x0A\x0D\x20-\x7E\x85\xA0-\xFF' \
+ ur'\u0100-\uD7FF\uE000-\uFDCF\uFDE0-\uFFFD])|([\n])|$)')
attr0 = xml.sax.xmlreader.AttributesImpl({})
def splitInvalidXML(string):
list = []
def replacer(m):
g1 = m.group(1)
if (len(g1) > 0):
list.append(g1)
g2 = m.group(2)
if (not g2 == None):
list.append(ord(g2))
g3 = m.group(3)
if (not g3 == None):
list.append(g3)
return ""
re.sub(r,replacer,string)
return list
def submitCharacters(x, string):
for fragment in splitInvalidXML(string):
if (isinstance(fragment,int)):
x.startElement("u", attr0)
x.characters('%04X' % fragment)
x.endElement("u")
else:
x.characters(fragment)
def test1(fname):
with open(fname,'w') as f:
x = xml.sax.saxutils.XMLGenerator(f)
x.startDocument()
x.startElement('document',attr0)
submitCharacters(x, 'this is a \x01 test\nof the \x02\x0b xml system.')
x.endElement('document')
x.endDocument()
test1('test.xml')
这会产生:
<?xml version="1.0" encoding="iso-8859-1"?>
<document>this is a <u>0001</u> test
of the <u>0002</u><u>000B</u> xml system.</document>
答案 2 :(得分:0)
此https://bugs.python.org/issue5166有一个开放的python错误-尚不确定分辨率是否会/如果已经开放了一段时间会被解决,但是值得定期检查,以防万一处理python本身内置的无效XML字符的正确解决方案。