Question

我试图读取分隔文件并解析其内容。与CSV不同，分隔符，字符串限定符等是非ASCII即。分别是U0014和U00FE。但是，我无法检测字符串限定符（FE）。这是因为角色的值大于等于128还是其他什么？

这是一个简单的程序，说明了核心问题。我怎样才能做到这一点？这是一个非常小的测试文件的链接。 https://www.dropbox.com/s/1cilircwc3pq78c/nonascii.dat?dl=0

由于

import org.apache.commons.io.FileUtils;
import org.apache.commons.io.LineIterator;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;
import java.io.Reader;

public class CharMatch {
    public static void main(String[] args)
        throws Exception {
    final String pathname = "/home/vinayb/Downloads/nonascii.dat";
    final File file = new File(pathname);
    final String encoding = "UTF-8";
    final PrintStream out = new PrintStream(System.out, true, encoding);
    final Reader r = new BufferedReader(new InputStreamReader(
            new FileInputStream(file), encoding));

    final LineIterator it = FileUtils.lineIterator(file, encoding);
    try {
        //read a line
        final String line = it.nextLine();
        final char[] chars = line.toCharArray();
        for (char c : chars) {
            out.println(c + " , with decimal value: " + Character.getNumericValue(c) + " and hexa value: " + Integer.toHexString(Character.getNumericValue(c)));
        }

        out.println("------------------------------------");
        final String expectedDelimiter = fromUnicode("0014");
        final String expectedStringQualifier = fromUnicode("00FE");
        out.println("##### expected delimiter:" + expectedDelimiter);

        out.println("##### expected string qualifier:" + expectedStringQualifier);
        String[] items = line.split(expectedDelimiter);
        out.println("#### " + items.length + " " + items[0]);

        if (line.contains(expectedDelimiter)) {
            out.println("Found delimiter"); ////=======> can match this
        }

        if (line.contains(expectedStringQualifier)) {
            out.println("Found string qualifier"); //=======> can't match this
        }
    } finally {
        LineIterator.closeQuietly(it);
    }
}

private static String fromUnicode(String codePoint) {
    return "" + (char) Integer.parseInt(codePoint, 16);
}

}

Answer 1

您的文件无效UTF-8：

$ iconv -f utf-8 *dat >/dev/null; echo $?
iconv: illegal input sequence at position 0
1

但它可以“读”为ISO-8859-1：

$ iconv -f iso-8859-1 *dat >/dev/null; echo $?
0

只需将编码更改为;但2015年的这种文件格式相当奇怪。你应该真正做的是要求这些文件的来源与时俱进;）

请注意，由于第一个字节序列无效，因此默认情况下Java会将其替换为U+FFFD;并且它将使用它无法转换为char s的每个字节序列。为了让Java在这种情况下抛出异常，您需要实例化CharsetDecoder（来自Charset实例）并指定您想要.onMalformedInput(CodingErrorAction.REPORT)（默认为{ {1}}）。

Answer 2

看看here。 00 FE可能是UTF-16的正确代码，但在UTF-8中它是C3 BE。这也可以解释为什么它不是有效的UTF-8。

识别和匹配文件中的非ascii字符

2 个答案: