Question

我使用以下正则表达式从string中删除非字母数字字符（不删除空格）。

pattern = re.compile('([^\s\w]|_)+', re.UNICODE)

但是，我仍然在过滤后得到以下字符串：

√ß
 √§√§√§  √°  √°
√†
 √•√Æ √≤√´√¢√°√§
√∂√®
√£√≥√ª√•√º√¥√ß √±√π√º
√ß √ß
√¥√π√± √∂√π√Æ √≠√Æ√™√Ø√Æ
√Æ√Ø√°√¨√µ√°√≠√∂
√π√®√µ√°√≠√∂
√≤√≠√≠√≤√™ √µ√°√≠√∂
√∏ √¢ √°√≠
√•√Æ√¶√≠√Æ
√≠√≠√∂ √π√Æ√≤√µ√†√§
√§
 √®√®√± √±√π√º
√®√®√± √±√π√º
√§√≥√≤√•√¥ √™√£
√Ø√π√π√Ø√§√≥ √±√π√º
√º√≠√ª√ß√¥√±√≥ √±√π√º

如何使用正则表达式处理它们？我希望在删除非字母数字字符后，上面的字符串变为空字符串。

我有一个用户查询列表，我正在尝试预处理。我提供了相关的代码片段如下。

query_text = ' '.join([pattern.sub(' ', word) for word in tokens[1].lower().split()])
query_text = query_text.strip()

请注意：

我正在处理的问题是删除任何非字母数字字符，但给定字符串的空格除外。
根据英语删除非字母数字字符。

Answer 1

使用re.UNICODE标志（至少在我的Python版本中，也没有它），类\w包含许多“非英语”字母数字字符，例如希腊字母，变音符号，连字和其他。如果您也想删除它们，则不应使用\w，而应使用更“明确”的字符类，例如a-zA-Z0-9。

>>> pattern = re.compile('([^\s\w]|_)+', re.UNICODE)
>>> pattern.sub("", text)
'ß\n     \n\n Æ \n\nªºß πº\nß ß\nπ πÆ ÆØÆ\nÆØµ\nπµ\n µ\n  \nÆÆ\n πÆµ\n\n  πº\n πº\n \nØππØ πº\nºªß πº'
>>> pattern = re.compile('[^\sa-zA-Z0-9]+', re.UNICODE)
>>> pattern.sub("", text)
'\n     \n\n  \n\n \n \n  \n\n\n \n  \n\n \n\n  \n \n \n \n '

或者您可以明确设置re.ASCII标记，以便\w实际上等同于[a-zA-Z0-9_]

>>> re.sub("[^\s\w]", "", text, flags=re.UNICODE)
'ß\n     \n\n Æ \n\nªºß πº\nß ß\nπ πÆ ÆØÆ\nÆØµ\nπµ\n µ\n  \nÆÆ\n πÆµ\n\n  πº\n πº\n \nØππØ πº\nºªß πº'
>>> re.sub("[^\s\w]", "", text, flags=re.ASCII)
'\n     \n\n  \n\n \n \n  \n\n\n \n  \n\n \n\n  \n \n \n \n '

剥离后获取非字母数字字符

1 个答案: