拆分多语言字符串

时间:2012-08-02 09:31:33

标签: c# java .net

我有一个AS / 400回复文本,它带有多语言字符串,如下所示,长度为28872个字符。

2012021920120219000000000300000D000000010146208D22فيراصم

我必须将文本分割为每个块240个字符,但因为我的逻辑之间有阿拉伯字符,所以无法提取精确的240个字符长度。

我的问题是如何在不丢失原始格式的情况下拆分多语言文本?

2 个答案:

答案 0 :(得分:4)

您应该编写代码,以便根据文本编码提取240个字符。根据编码,字符可能需要几个字节。常见的编码是UTF-8。看看维基百科有关UTF-8的工作原理。这将允许您编写正确的工作代码。 UTF-8 Description

因此,您应该找出当前字符占用的字节数。

当然,在开始之前,请确保您知道输入文本的编码。


知道Java使用UTF-16来存储字符。因此,这意味着阿拉伯字符可以由多个char组成,因为代码点超过2 ^ 16。要正确使用它,我会将整个字符串转换为字节缓冲区:

String longStringToSplit = ...;
byte[] stringUTF8 = longStringToSplit.getBytes("UTF-8");
// now, split it manually and correct, using the utf-8 specifications you
// can find in the link I gave you to wiki.

答案 1 :(得分:1)

这是一个简单的代码可以做到这一点:

List<string> SplitString(String input, int length)
{
    var splitedList = new List<string>();

    string block = "";
    var arabicBlock = "";

    foreach (char c in input)
    {
        if (block.Length + arabicBlock.Length > length - 1)
        {
            splitedList.Add(block);
            block = "";
        }

        var b = (int) c;
        // check here if charachter is arabic
        // this is a sample, or you can use 'IsArabicChar'
        //if (b > 6000)
        if(IsArabicChar(c))
        {
            arabicBlock += c.ToString();
        }
        else
        {
            block += arabicBlock + c;
            arabicBlock = "";
        }
    }
    return splitedList;
}

IsArabicChar方法非常有用:

internal static bool IsArabicChar(Char character)
{
    if (character >= 0x600 && character <= 0x6ff)
        return true;

    if (character >= 0x750 && character <= 0x77f)
        return true;

    if (character >= 0xfb50 && character <= 0xfc3f)
        return true;

    if (character >= 0xfe70 && character <= 0xfefc)
        return true;

    return false;
}