有没有更好的方法来枚举IEnumerable <char>?</char>中的文本元素

时间:2014-09-25 23:46:07

标签: c# .net unicode

我想从e枚举文本元素(显示为单个字符的Unicode代码点组,如´ + é = IEnumerable<char>)。现在我有以下内容:

// This code is untested! I assume it works because it's fairly simple and I checked the specification though.
public static IEnumerable<string> AsTextElements(this IEnumerable<char> input)
{
    StringBuilder currentElement = new StringBuilder();
    char highSurrogate = (char)0;
    foreach (var c in input)
    {
        // Assuming input contains valid UTF-16:
        if (char.IsHighSurrogate(c))
        {
            highSurrogate = c;
            continue;
        }

        int codepoint;
        if (char.IsLowSurrogate(c))
        { codepoint = char.ConvertToUtf32(highSurrogate, c); }
        else
        { codepoint = c; }

        var codepointString = char.ConvertFromUtf32(codepoint);
        var category = CharUnicodeInfo.GetUnicodeCategory(codepointString, 0);

        switch (category)
        {
            // Do these catch all combining characters?
            case UnicodeCategory.EnclosingMark:
            case UnicodeCategory.NonSpacingMark:
            case UnicodeCategory.SpacingCombiningMark:
                if (currentElement == null)
                { currentElement = new StringBuilder(codepointString); }
                else
                { currentElement.Append(codepointString); }
                break;
            default:
                if (currentElement.Length != 0)
                {
                    yield return currentElement.ToString();
                    currentElement.Clear();
                }
                currentElement.Append(codepointString);
                break;
        }
    }
    yield return currentElement.ToString();
}

令我烦恼的是这里创建的所有codepointString string,即使每个代码点最多需要32位。 我找不到直接从int或两个char获取Unicode类别的方法。
尽管如此,很容易将char添加到currentElement StringBuilder

我知道“优化之前的措施”建议,这个问题主要是因为如果没有堆分配就不可能,我会觉得很奇怪。
到目前为止,我没有在同一个string中使用文本元素进行迭代,但我可能在将来。

1 个答案:

答案 0 :(得分:2)

如果通过文本元素表示“用户感知字符”,则Unicode Standard Annex 29包含用于查找“扩展字形集群”之间边界的算法,这可能更好地对应于“用户感知字符”而非代码归一化产生的分数。

(我之前的回答是不正确的,所以我删除了它;它建议使用规范化形式C,但在很多情况下它不足以找到文本元素。)