Question

以下内容将取代ASCII控制字符（[\x00-\x1F\x7F]的简写）：

my_string.replaceAll("\\p{Cntrl}", "?");

以下内容将替换所有ASCII不可打印字符（[\p{Graph}\x20]的简写），包括重音字符：

my_string.replaceAll("[^\\p{Print}]", "?");

但是，它们都不适用于Unicode字符串。有没有人有一个很好的方法从unicode字符串中删除不可打印的字符？

Answer 1

my_string.replaceAll("\\p{C}", "?");

详细了解Unicode regex。 java.util.regexPattern / String.replaceAll支持他们。

Answer 2

Op de Cirkel大部分都是对的。他的建议在大多数情况下都有效：

myString.replaceAll("\\p{C}", "?");

但如果myString可能包含非BMP代码点，那么它会更复杂。 \p{C}包含\p{Cs}的代理代码点。上述替换方法有时会替换代理对的一半，从而破坏非BMP代码点。这可能是一个Java错误而不是预期的行为。

使用其他组成类别是一个选项：

myString.replaceAll("[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "?");

但是，不会删除不属于一对的单独代理字符（每个代理字符都有一个指定的代码点）。非正则表达式方法是我知道正确处理\p{C}的唯一方法：

StringBuilder newString = new StringBuilder(myString.length());
for (int offset = 0; offset < myString.length();)
{
    int codePoint = myString.codePointAt(offset);
    offset += Character.charCount(codePoint);

    // Replace invisible control characters and unused code points
    switch (Character.getType(codePoint))
    {
        case Character.CONTROL:     // \p{Cc}
        case Character.FORMAT:      // \p{Cf}
        case Character.PRIVATE_USE: // \p{Co}
        case Character.SURROGATE:   // \p{Cs}
        case Character.UNASSIGNED:  // \p{Cn}
            newString.append('?');
            break;
        default:
            newString.append(Character.toChars(codePoint));
            break;
    }
}

Answer 3

您可能对Unicode categories "Other, Control"和可能 "Other, Format"感兴趣（不幸的是后者似乎包含不可打印和可打印的字符）。

在Java正则表达式中，您可以分别使用\p{Cc}和\p{Cf}来检查它们。

Answer 4

为实现目标而打击的方法

public static String removeNonAscii(String str)
{
    return str.replaceAll("[^\\x00-\\x7F]", "");
}

public static String removeNonPrintable(String str) // All Control Char
{
    return str.replaceAll("[\\p{C}]", "");
}

public static String removeSomeControlChar(String str) // Some Control Char
{
    return str.replaceAll("[\\p{Cntrl}\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "");
}

public static String removeFullControlChar(String str)
{
    return removeNonPrintable(str).replaceAll("[\\r\\n\\t]", "");
}

Answer 5

我为此使用了此简单功能：

private static Pattern pattern = Pattern.compile("[^ -~]");
private static String cleanTheText(String text) {
    Matcher matcher = pattern.matcher(text);
    if ( matcher.find() ) {
        text = text.replace(matcher.group(0), "");
    }
    return text;
}

希望这很有用。

Answer 6

根据 Op De Cirkel 和 noackjr 的回答，以下是我为常规字符串清除所做的工作：1.修剪前导或尾随空格，2. dos2unix ，3。mac2unix，4。删除除空格以外的所有“不可见Unicode字符”：

myString.trim.replaceAll("\r\n", "\n").replaceAll("\r", "\n").replaceAll("[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}&&[^\\s]]", "")

通过Scala REPL测试。

Answer 7

我建议它删除如下所示的不可打印字符，而不是替换它

private String removeNonBMPCharacters(final String input) {
    StringBuilder strBuilder = new StringBuilder();
    input.codePoints().forEach((i) -> {
        if (Character.isSupplementaryCodePoint(i)) {
            strBuilder.append("?");
        } else {
            strBuilder.append(Character.toChars(i));
        }
    });
    return strBuilder.toString();
}

Answer 8

支持多语言

public static String cleanUnprintableChars(String text, boolean multilanguage)
{
    String regex = multilanguage ? "[^\\x00-\\xFF]" : "[^\\x00-\\x7F]";
    // strips off all non-ASCII characters
    text = text.replaceAll(regex, "");

    // erases all the ASCII control characters
    text = text.replaceAll("[\\p{Cntrl}&&[^\r\n\t]]", "");

    // removes non-printable characters from Unicode
    text = text.replaceAll("\\p{C}", "");

    return text.trim();
}

Answer 9

我重新设计了电话号码+9（987）124124的代码 Extract digits from a string in Java

if (TextUtils.isEmpty(PhoneNumber) || 
   !Arrays.asList(okNums ).contains(PhoneNumber)) {

    PhoneNumber.setError("Please enter a valid phone number")
    return;`
 }

如何在Java中替换不可打印的Unicode字符？

9 个答案: