在Python中将Hex NCR文本表示形式转换为Unicode

Question

我有一个从网页解析的字符串，最初是中文：

若き葉末には風が立ち 森は翡翠の息を返す 雲の切れ間から注ぐ 光に君を見初めん

碧き瞳のほほえむとき そは鐘のひびき胸に打つ さしのべた腕に絡む 蔦の葉に君を逃す

残る　香り 水面をかけゆく恋の舟 つかの間の波に　揺られ

やさしき幻影　心に映るその姿よ 永遠なる君に　想いを捧げん

若き葉末には風は眠り 森は密やかに息を止む 抱きしめた腕のなかで 静かに君は消えゆく

月は　満ちて 黄金の羽根が舞いおちる 我はただひとり森に

祈りたまえや

但是，在解析过程中，它以以下形式转换为十六进制NCR字符串：

若き葉末には風が立ち\n森は翡翠の息を返す\n雲の切れ間から注ぐ\n光に君を見初めん\n\n碧き瞳のほほえむとき\nそは鐘のひびき胸に打つ\nさしのべた腕に絡む\n蔦の葉に君を逃す\n\n残る　香り\n水面をかけゆく恋の舟\nつかの間の波に　揺られ\n\nやさしき幻影　心に映るその姿よ\n永遠なる君に　想いを捧げん\n\n若き葉末には風は眠り\n森は密やかに息を止む\n抱きしめた腕のなかで\n静かに君は消えゆく\n\n月は　満ちて\n黄金の羽根が舞いおちる\n我はただひとり森に\n\n祈りたまえや

我想将此字符串转换为适当的unicode格式。

从我的研究中，我能够收集到例如一映射到unicode字符串b'\\u4e00'的信息。

这可以通过以下方式手动完成：将&#x剥离并在字符串的开头加上一个\\u，然后使整个内容变为小写并通过在前面加上一个b将其转换为字节串字符串。 这是在此repo中完成的，但是可以通过eval("b'\\u4e00")这样的代码使用效率低的eval函数。

[编辑：上面的段落不正确。它不是python2中存在的字节串而是unicode字符串。正确的映射应为一-> u'\u4e00']

有更好的方法吗？考虑到这些十六进制映射字符串可以出现在常规文本中间的边缘情况，例如：

Je me levais tôt
Travailler en homme
Je me souviens du goût
Du café brûlant
Dans la tasse rouge
Et la femme qui dort
Les portes ouvertes de la grande usine
Bouffaient nos fils le jour de leurs quinze ans
On se levait tôt
Sortis de nos draps
On se retrouvait en bas
Les rues du village s'allumaient d'un coup
A six heures moins le quart
Les portes ouvertes de la grande usine
Bouffaient nos fils bien avant leurs quinze ans
On se lève trop tôt
On sait plus quoi faire
Dans le café des vieux
Les mains dans nos poches
Cachent nos poings noirs
Y'a plus qu'à qui change pas
Les portes sont fermées
Y'a plus de feu qui gronde
L'usine a tout vomi d'un seul coup
Pourquoi on fait ça
Pourquoi ça m'fait ça
Pourquoi on nous fait ça à nous

我正在处理大量数据，这些字符可以散布在任何地方，并且我需要一种有意义的方式来处理它们。

那么还有什么更好的方法吗？理想情况下，它是python固有支持的。

如果有人可以解决我的问题，我将不胜感激。预先感谢。

Answer 1

看看标准库中的html模块：

>>> import html
>>> html.unescape('Je me levais tôt')
'Je me levais tôt'
>>> html.unescape('若き葉末には')
'若き葉末には'

结果是Unicode字符串（Python 3中为str类型）。 请注意，b'...'表示字节字符串。 在您的示例中，文字b'\\u4e00'没有多大意义，因为它是一个包含6个字符（\，u，4，e，0、0）的字节串。 您可能是指'\u4e00'（或Python 2中的u'\u4e00'），它是一个单字符Unicode字符串。