如何选择正确的代码页来解码由CArchive编码的内容

时间:2016-10-05 11:35:06

标签: c# c++ .net encoding codepages

在.net中我想解码一些由C ++应用程序编码的原始数据。 C ++应用程序是32位,C#应用程序是64位。

C ++应用程序支持俄语和西班牙语字符,但不支持unicode字符。这个C#二进制阅读器无法读取俄语或西班牙语字符,仅适用于英语ascii字符。

CArchive没有指定任何编码,我不知道如何从C#中读取它。

我已经测试了几个简单的字符串,这就是C ++ CArchive提供的内容:

对于“ABC”:“03 41 42 43”

对于“ÁåëÀÇ7555”:“0B C1 E5 EB C0 C7 20 37 35 35 35 C2”

以下显示了C ++应用程序如何编写二进制文件。

void CColumnDefArray::SerializeData(CArchive& Archive)
{
    int iIndex;
    int iSize;
    int iTemp;
    CString sTemp;

    if (Archive.IsStoring())
    {
        Archive << m_iBaseDataCol;
        Archive << m_iNPValueCol;

        iSize = GetSize();
        Archive << iSize;
        for (iIndex = 0; iIndex < iSize; iIndex++)
        {
            CColumnDef& ColumnDef = ElementAt(iIndex);
            Archive << (int)ColumnDef.GetColumnType();
            Archive << ColumnDef.GetColumnId();
            sTemp = ColumnDef.GetName();
            Archive << sTemp;
        }
    }
}

这就是我试图用C#读取它的方法。

以下内容可以解码“ABC”,但不能解读俄罗斯的特征。我已经使用所有可用选项(Ascii,UTF7等)测试了this.Encoding俄语字符仅适用于Encoding.Default。但显然这不是一个可靠的选项,因为编码和解码通常发生在不同的PC中。

        public override string ReadString()
        {
            byte blen = ReadByte();
            if (blen < 0xff)
            {
                // *** For russian characters it comes here.***
                return this.Encoding.GetString(ReadBytes(blen));
            }

            var slen = (ushort) ReadInt16();
            if (slen == 0xfffe)
            {
                throw new NotSupportedException(ServerMessages.UnicodeStringsAreNotSupported());
            }

            if (slen < 0xffff)
            {
                return this.Encoding.GetString(ReadBytes(slen));
            }

            var ulen = (uint) ReadInt32();
            if (ulen < 0xffffffff)
            {
                var bytes = new byte[ulen];
                for (uint i = 0; i < ulen; i++)
                {
                    bytes[i] = ReadByte();
                }

                return this.Encoding.GetString(bytes);
            }

            //// Not support for 8-byte lengths 
            throw new NotSupportedException(ServerMessages.EightByteLengthStringsAreNotSupported());
        }

解码此问题的正确方法是什么?您认为选择正确的代码页是解决这个问题的方法吗?如果是这样,如何知道用于编码的代码页?

感谢有人能告诉我正确的方向来完成这项工作。

修改

我猜this Question"The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)"文章解决了一些疑问。显然,没有办法为现有数据找到合适的代码页。

我想现在的问题是:是否有支持所有西班牙语,俄语和英语字符的代码页?我可以在C ++ CArchive类中指定代码页吗?

1 个答案:

答案 0 :(得分:0)

非Unicode C ++程序将数据写为0B C1 E5 EB C0 C7 20 37 35 35 35 C2(字符串的长度,后跟bytes

"ÁåëÀÇ 7555Â"是代码页1252中bytes的代表

在英语语言计算机上,以下代码返回"ÁåëÀÇ 7555Â"。如果两个程序使用相同的代码页,则此方法有效:

string result = Encoding.Default.GetString(bytes);

您也可以直接使用代码页1252。这将保证该特定字节集的结果始终为"ÁåëÀÇ 7555Â"

//result will be `"ÁåëÀÇ 7555Â"`, always
Encoding cp1252 = Encoding.GetEncoding(1252);
string result = cp1252.GetString(bytes);

<小时/>
但是,这可能无法解决任何问题。考虑使用希腊文本的示例:

string greek = "ελληνικά";
Encoding cp1253 = Encoding.GetEncoding(1253);
var bytes = cp1253.GetBytes(greek);

bytes将类似于C ++程序的输出。您可以使用相同的技术来提取文本:

//result will be "åëëçíéêÜ"
Encoding cp1252 = Encoding.GetEncoding(1252);
string result = cp1252.GetString(bytes);

结果是"åëëçíéêÜ"。但是期望的结果是"ελληνικά"

//result will be "ελληνικά"
Encoding cp1253 = Encoding.GetEncoding(1253);
string greek_decoded = cp1253.GetString(bytes);

因此,为了进行正确的转换,您必须拥有C ++程序正在使用的原始代码页(我只是重复Hans Passant)

您可以进行以下修改:

public override string ReadString()
{
    //Default code page if both programs use the same code page
    Encoding encoder = System.Text.Encoding.Default;

    //or find out what code page the C++ program is using
    //Encoding encoder = System.Text.Encoding.GetEncoding(codepage);

    //or use English code page to always get "ÁåëÀÇ 7555Â"...
    //Encoding encoder = System.Text.Encoding.GetEncoding(1252);
    //(not recommended)

    byte blen = ReadByte();
    if (blen < 0xff)
        return encoder.GetString(ReadBytes(blen));

    var slen = (ushort)ReadInt16();
    if (slen == 0xfffe)
        throw new NotSupportedException(
            ServerMessages.UnicodeStringsAreNotSupported());

    if (slen < 0xffff)
        return encoder.GetString(ReadBytes(blen));

    var ulen = (uint)ReadInt32();
    if (ulen < 0xffffffff)
    {
        var bytes = new byte[ulen];
        for (uint i = 0; i < ulen; i++)
            bytes[i] = ReadByte();
        return encoder.GetString(ReadBytes(blen));
    }

    throw new NotSupportedException(
        ServerMessages.EightByteLengthStringsAreNotSupported());
}

补充意见:

非Unicode MFC程序可以使用英语或俄语输入,但不能同时输入两种语言。这些旧程序使用char每个字节最多可存储255个字母。 255英语,俄语,希腊语,阿拉伯语的所有字母都没有足够的空间...

代码页1252将字符映射到拉丁字母。代码页1253将字符映射到希腊字母表等等。

因此,您的MFC文件只包含一个代码页的一种语言。

西欧语言(英语,西班牙语,葡萄牙语,德语,法语,意大利语,瑞典语等)使用代码页1252.如果用户留在此语言组中,那么应该没有太多麻烦。 System.Text.Encoding.Default应该解决问题,或者更好System.Text.Encoding.GetEncoding(variable_codepage)

Windows中有一些相关的ANSI代码页

874 – Windows Thai
1250 – Windows Central and East European Latin 2
1251 – Windows Cyrillic
1252 – Windows West European Latin 1
1253 – Windows Greek
1254 – Windows Turkish
1255 – Windows Hebrew
1256 – Windows Arabic
1257 – Windows Baltic
1258 – Windows Vietnamese

如果没有Unicode,则不支持某些亚洲语言。 ANSI不支持某些Unicode符号,因此无法做任何事情。

可以强制非unicode程序使用多个代码页。但这不实际。升级到Unicode并执行此操作要容易得多。

另见The Minimum Software Developers Must Know About Unicode