在UTF编码/解码后,口音不会被打印

时间:2015-04-26 14:10:05

标签: java unicode encoding inputstream bufferedreader

我在整个several上阅读了articles topic,但我仍然不明白这里发生了什么。请在以下工作示例中查看(实际上,没有示例,这是我正在处理的一些完整的类main())。

public class Console extends JFrame {

    private static final long serialVersionUID = 2260047176466126845L;
    private static final String ENCODING = "UTF-8";

    private BlockingQueue<Integer> inBuffer = new LinkedBlockingQueue<Integer>();
    private JTextArea display = new JTextArea();
    private JTextField input = new JTextField();
    private ActionListener listener = new ActionListener() {

        @Override
        public void actionPerformed(ActionEvent e) {
            System.out.println("Input: " + input.getText());
            byte[] bytes = (input.getText() + "\n").getBytes(Charset.forName(ENCODING));
            input.setText("");
            System.out.println("Bytes: " + Arrays.toString(bytes));
            for(byte b : bytes) {
                inBuffer.offer((int) b);
            }
        }
    };

    public Console() {
        super("Debugging");

        LayoutManager layout = new BoxLayout(this.getContentPane(), BoxLayout.Y_AXIS);
        setLayout(layout);
        display.setPreferredSize(new Dimension(420, 210));
        display.setEditable(false);
        input.addActionListener(listener);
        input.setPreferredSize(new Dimension(420, 20));
        add(display);
        add(input);
        pack();
        setVisible(true);
    }

    public final BufferedReader in = new BufferedReader(
            new InputStreamReader(
                    new InputStream() {

                        boolean lastWasEnd = false;

                        @Override
                        public int read() throws IOException {
                            Integer c;
                            if(lastWasEnd) {
                                lastWasEnd = false;
                                return -1;
                            }

                            try {
                                c = inBuffer.poll(10, TimeUnit.MINUTES);
                                lastWasEnd = inBuffer.isEmpty();
                                return c;
                            } catch (InterruptedException e) {
                                e.printStackTrace();
                            }

                            return -1;
                        }
                    }, Charset.forName(ENCODING)
            )
    );

    public final PrintStream out = new PrintStream(new OutputStream() {

        @Override
        public void write(int b) throws IOException {
            display.append(Character.toString((char) b));
        }

    });

    public static void main(String args[]) {
        Console cons = new Console();
        cons.out.println(">> Console started. Using charset: " + Charset.forName(ENCODING));
        while(true) {
            System.out.println("Loop");
            try {
                cons.out.println(">> " + cons.in.readLine());
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

在我尝试在标准ASCII范围内编写任何字符之前一切顺利,例如但不限于áéíóúñ。在这些情况下,我得到缺少字符正方形。我尝试过使用其他编码无济于事。

更新:

一些具体问题:

  1. 为什么不在InputStreamReader的构造函数中指定字符集,使其正确解码多字节字符。

  2. InputStream有时会收到超过一个字节的字符。无论如何,他们如何识别和处理这些角色。

  3. 更新2:

    我完全忘记了这段代码:

    @Override
    public void write(int b) throws IOException {
        display.append(Character.toString((char) b));
    }
    

    这导致了麻烦。我会正确地重写它,并期望没有进一步的编码/解码问题。

2 个答案:

答案 0 :(得分:3)

UTF-8是一种多字节编码。这意味着一个字符可能具有超过一个字节长的表示,特别是如果它不是US-ASCII类型的字符。您特意将字符串分解为字节,原因不明确,并附加它们。因此,您将这些字符分解为单个字节,然后将这些字节视为整个字符。

如果字符长度超过一个字节,则无效。

考虑为什么要尝试将单个字节排队而不是整个字符,如果没有充分的理由,那么请尝试不将字符串转换为字节而是字符。

答案 1 :(得分:0)

为了记录,我最终实现了如下所示的基本缓冲OutputStream.write(),现在所有I / O都能正常工作。

这是我为修复输出所写的内容。我想改进endline('\n')检测,所以它看起来并不那么hackish但我现在还没有找到合适的解决方案,所以与10比较。

public final PrintStream out = new PrintStream(new OutputStream() {
    private ByteBuffer buffer = ByteBuffer.allocate(8192);

    @Override
    public void write(int b) throws IOException {

        buffer.put((byte) b);
        if(b == 10) {
            buffer.flip();
            String output = decoder.decode(buffer).toString();
            display.append(output);
            buffer.clear();
        }
    }
});