简单规范化文本示例不起作用

时间:2013-07-25 13:14:55

标签: java unicode

我正在尝试分解一些文字。示例来自:http://docs.oracle.com/javase/6/docs/api/java/text/Normalizer.html

  U+00C1    LATIN CAPITAL LETTER A WITH ACUTE (Á)

或作为两个单独的字符(“分解”形式):

  U+0041    LATIN CAPITAL LETTER A
  U+0301    COMBINING ACUTE ACCENT

我正在关注Oracle的这个教程页面:http://docs.oracle.com/javase/tutorial/i18n/text/normalizerapi.html

这个简单的案例对我不起作用:

  • 原字:"schön"
  • NFC:"schön"
  • NFD:"scho\u0308n"
  • NFKC:"schön"
  • NFKD:"scho\u0308n"

在上述所有情况下,函数Normalizer.normalize("schön", form)(其中表单是Normalizer.Form.NFCNormalizer.Form.NFD之一等),结果是相同的:"schön"

此代码不适用于Linux上的Oracle JDK 1.6或1.7安装,在Eclipse JDT中使用。

String n = Normalizer.normalize("schön", Normalizer.Form.NFD);

结果n始终是“schön”。

这个“问题”闻起来像是(1)我完全误解了这个功能,或者(2)恶劣的环境。我被卡住了。有什么建议?我的系统设置非常流行。

2 个答案:

答案 0 :(得分:3)

归功于@ R.MartinhoFernandes。我不知道结果将在规范上等同于输入。我今天学到了关于Unicode de / composition的新内容。

简而言之:

String.valueOf('Á').equals(String.valueOf('\u00C1'))
String.valueOf('A').equals(String.valueOf('\u0041'))

Normalizer.normalize("Á", Normalizer.Form.NFD).equals("\u0041\u0301")
!String.valueOf('Á').equals("\u0041\u0301")

可是:

System.out.println("Á\u0041\u0301")

将打印:

ÁÁ

答案 1 :(得分:1)

这样做,它将完成这项工作:

String n = Normalizer.normalize("schön", Normalizer.Form.NFD).replaceAll("\\p{InCombiningDiacriticalMarks}+", "");