如何用ASCII替换Unicode字符

Question

我有以下命令用Unicode替换Unicode字符。

sed -i 's/Ã/A/g'

问题是我的Unix环境中的sed命令无法识别Ã所以我假设你用它的十六进制值替换它。如果我使用C3代替语法会是什么样的？

我正在使用此命令作为其他字符的模板，我想用空格替换，例如：

sed -i's /©/ / g'

Answer 1

可以在＆＃34; sed＆＃34;。

中使用十六进制值

echo "Ã" | hexdump -C
00000000  c3 83 0a                                          |...|
00000003

好的，那个字符是两个字节的组合＆＃34; c3 83＆＃34;。让我们用单字节＆＃34; A＆＃34;：

替换它

echo "Ã" |sed 's/\xc3\x83/A/g'
A

说明：\ x表示＆＃34; sed＆＃34;接下来是十六进制代码。

Answer 2

您可以使用iconv：

iconv -f utf-8 -t ascii//translit

Answer 3

尝试设置LANG=C，然后在Unicode范围内运行它：
echo "hi ☠ there ☠" | LANG=C sed "s/[\x80-\xFF]//g"

Answer 4

ICU还有uconv。

示例：

• uconv -x "::NFD; [:Nonspacing Mark:] > ; ::NFC;"：删除重音
• uconv -x "::Latin; ::Latin-ASCII;"：用于音译拉丁语/ ascii
• uconv -x "::Latin; ::Latin-ASCII; ([^\x00-\x7F]) > ;"：用于音译拉丁语/ ascii并删除剩余的代码点＆gt; 0x7F的
• ...

echo "À l'école ☠" | uconv -x "::Latin; ::Latin-ASCII; ([^\x00-\x7F]) > ;" 给出：A l'ecole