ISO6937到UTF8在C#中给出了错误的结果

时间:2017-04-24 19:26:13

标签: c# string unicode encoding utf-8

我正在从C#中的文件中读取一些二进制数据,还需要正确解码的字符串。

我没有问题,例如windows-1251代码页,但我的ISO6937结果不正确 - 看起来C#忽略了two byte chars(重音+字符)。

我正在使用这种方式从字节解码字符串:

Encoding.Convert(Encoding.GetEncoding("20269"), Encoding.UTF8, data)

示例:

克拉科夫

byte [] = 4B 72 61 6B C2 6F 77

结果 - Krak'ow

我做了一些研究,但我发现只有MediaPortal at their GitHub的一些代码,它们手动读取两个字节的字符 - 这不是最好的方法。

我做错了什么或者这是Visual Studio的错误? (为什么他们能够编码到ISO6937,如果这不能正常工作?)

1 个答案:

答案 0 :(得分:2)

编码的Wikipedia page确实暗示了潜在的问题。引用:" ISO / IEC 6937不编码任何组合字符"。所以正式 .NET编码器执行标准所说的,几乎它没用。

这可以比链接的GitHub代码更好地完成,更干净的方法是创建自己的Encoding类。关于所有工作都可以委托给.NET编码,你只需要拦截变音符号。这需要使用组合标记并将其与字母交换。像这样:

class ISO6937Encoding : Encoding {
    private Encoding enc = Encoding.GetEncoding(20269);

    public override int GetChars(byte[] bytes, int byteIndex, int byteCount, char[] chars, int charIndex) {
        int cnt = enc.GetChars(bytes, byteIndex, byteCount, chars, charIndex);
        for (int ix = 0; ix < byteCount; ix++, charIndex++) {
            int bx = byteIndex + ix;
            if (bytes[bx] >= 0xc1 && bytes[bx] <= 0xcf) {
                if (charIndex == chars.Length - 1) chars[charIndex] = '?';
                else {
                    const string subst = "\u0300\u0301\u0302\u0303\u0304\u0306\u0307\u0308?\u030a\u0337?\u030b\u0328\u030c";
                    chars[charIndex] = chars[charIndex + 1];
                    chars[charIndex + 1] = subst[bytes[bx] - 0xc1];
                    ++ix;
                    ++charIndex;
                }
            }
        }
        return cnt;
    }
    // Rest is boilerplate
    public override int GetByteCount(char[] chars, int index, int count) {
        return enc.GetByteCount(chars, index, count);
    }
    public override int GetBytes(char[] chars, int charIndex, int charCount, byte[] bytes, int byteIndex) {
        return enc.GetBytes(chars, charIndex, charCount, bytes, byteIndex);
    }
    public override int GetCharCount(byte[] bytes, int index, int count) {
        return enc.GetCharCount(bytes, index, count);
    }
    public override int GetMaxByteCount(int charCount) {
        return enc.GetMaxByteCount(charCount);
    }
    public override int GetMaxCharCount(int byteCount) {
        return enc.GetMaxCharCount(byteCount);
    }
}

未经过广泛测试。