Question

我正在尝试将Java字符转换为JIS X 0208“x-JIS0208”编码（或任何兼容的，如EUC-JP，但不是Shift-JIS），但我希望正确处理统一（合并）代码点

例如，将高分配给this JISX0208 chart中的第25行第66行，并且将类似外观的字符髙（虽然归类为未分配的代码点）与前者合并。我引用维基百科：“形式[]（高）和不常见的形式与梯形结构（髙）都包含在相同的代码点”。

我在代码中尝试了下面的代码，无论我尝试什么编码，我总是得到一个例外或未分配的字符占位符?（ASCII或全宽）。

有没有办法，也许是不同的编码或完全不同的转换方式，所以这两个字符都返回相同的代码点？或者，是否有API来查找这些字符，以便我可以在转换之前将它们合并？

static Charset      charset1    = Charset.forName("x-JIS0208");
static Charset      charset2    = Charset.forName("EUC-JP");
static Charset[]    charsets    = {charset1, charset2};

static CharBuffer   in          = CharBuffer.allocate(1);

public static void main(String[] args) throws Exception
{
    CharsetEncoder[] encoders = new CharsetEncoder[charsets.length];
    for (int i = 0; i < charsets.length; i++)
        encoders[i] = charsets[i].newEncoder();

    char[] testChars = {'　', 'Ａ', '？', '亜', '唖', '蔭', '高', '髙'};

    for (char ch : testChars)
    {
        System.out.print("'" + ch + "'\t(" + Integer.toHexString(ch) + ")\t=");

        for (int i = 0; i < charsets.length; i++)
        {
            System.out.print("\t" + interpret(encode1(encoders[i], ch)));
            System.out.print("\t" + interpret(encode2(charsets[i], ch)));
        }
        System.out.println();
    }
}

private static String interpret(int i)
{
    if (i == -1)
        return "excepti";
    if (i < 0x80)
        return "'" + (char)i + "'";
    return Integer.toHexString(i);
}

private static int encode1(CharsetEncoder encoder, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    try
    {
        ByteBuffer out = encoder.encode(in);

        if (out.limit() == 1)
            return out.get(0) & 0xFF;
        return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
    }
    catch (CharacterCodingException e)
    {
        return -1;
    }
}

private static int encode2(Charset charset, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    ByteBuffer out = charset.encode(in);

    if (out.limit() == 1)
        return out.get(0) & 0xFF;
    return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
}

输出：

'　' (3000)  =   2121    2121    a1a1    a1a1
'Ａ' (ff21)  =   2341    2341    a3c1    a3c1
'？' (ff1f)  =   2129    2129    a1a9    a1a9
'亜' (4e9c)  =   3021    3021    b0a1    b0a1
'唖' (5516)  =   3022    3022    b0a2    b0a2
'蔭' (852d)  =   307e    307e    b0fe    b0fe
'高' (9ad8)  =   3962    3962    b9e2    b9e2
'髙' (9ad9)  =   excepti 2129    excepti '?'

注意：我只对转换单个字符，很多字符，而不是字符串或流感兴趣，所以我实际上更喜欢不同的方法（如果存在），每次转换都不会分配ByteBuffer。

Answer 1

我只知道在规范“ARIB STD-B24”（对于JP中的ISDB-T 1seg）中，该字符使用DRCS模式数据编码，从DRCS-1到DRCS-15，每组由94组成。字符。

Answer 2

髙不包含在JIS X 0208中，但包含在Microsoft Windows代码页932（MS932）中。这是Shift JIS编码的变体，是JIS X 0208 charset的超集。您应该使用名称＆＃34; Windows-31j＆＃34;对于MS932，如：

Charset.forName("Windows-31j");

而不是Charset.forName("x-JIS0208");。

修改

像and（剪刀）这样的一些字符的映射表是从日本政府发布的，如National Tax Agency（见JIS縮退マップ（Ver.1.0.0））。但是这些映射表不包含字符髙。我认为这是因为髙不包含在JIS X 0208和JIS X 0213中。

因此，我认为您必须手动将髙替换为高（使用String#replaceAll()），或使用Charset制作您自己的自定义CharsetProvider。

JIS X 0208转换：如何处理统一（合并）的代码点

2 个答案:

修改