Question

给定UTF-8字符串（&str），我想找出未规范化的任何字符范围（例如a\u{300}而不是\u{e0}）。

我该怎么做？

编辑：感谢DK纠正我错误的UTF-8序列。在a之后，而不是之前，组合字符。

Answer 1

编辑：我刚刚意识到我得到的结果的原因是你的示例字符串是向后。组合代码点应该是第二个，而不是第一个。我已相应更新了答案。

那么，这取决于“规范化”的定义。

例如：

/*!
Add this to a `Cargo.toml` manifest:

```cargo
[dependencies]
unicode-normalization = "0.1.1"
```
*/
extern crate unicode_normalization;

fn main() {
    for test_str in vec!["a\u{300}", "\u{e0}"] {
        is_nfd(test_str);
        is_nfkd(test_str);
        is_nfc(test_str);
        is_nfkc(test_str);
    }
}

macro_rules! norm_test {
    ($fn_name:ident, $norm_name:ident) => {
        fn $fn_name(s: &str) {
            use unicode_normalization::UnicodeNormalization;
            println!("is_{}({:?}):", stringify!($norm_name), s);
            let is_norm = s.chars().zip(s.$norm_name())
                .inspect(|&(a, b)| println!(" - ({:x}, {:x})", a as u32, b as u32))
                .all(|(a, b)| a == b);
            println!(" is_norm: {}", is_norm);
        }
    };
}

norm_test! { is_nfd, nfd }
norm_test! { is_nfkd, nfkd }
norm_test! { is_nfc, nfc }
norm_test! { is_nfkc, nfkc }

这会产生以下输出：

is_nfd("a\u{300}"):
 - (61, 61)
 - (300, 300)
 is_norm: true
is_nfkd("a\u{300}"):
 - (61, 61)
 - (300, 300)
 is_norm: true
is_nfc("a\u{300}"):
 - (61, e0)
 is_norm: false
is_nfkc("a\u{300}"):
 - (61, e0)
 is_norm: false
is_nfd("\u{e0}"):
 - (e0, 61)
 is_norm: false
is_nfkd("\u{e0}"):
 - (e0, 61)
 is_norm: false
is_nfc("\u{e0}"):
 - (e0, e0)
 is_norm: true
is_nfkc("\u{e0}"):
 - (e0, e0)
 is_norm: true

所以"a\u{300}"是NFD和NFKD，而"\u{e0}"是NFC和NFKC。我不知道K和非K变体之间有任何不同的例子，尽管Unicode FAQ on Normalization可能会比我更好地解释事情。

如何检测非规范化的unicode字符？

1 个答案: