如何在python中识别不可打印的unicode字符

Question

我正在尝试使用随机字符生成Unicode字符串。我不想在字符串中包含不可打印的字符。 使用'unichr（codepoint）'函数我将codepoint转换为Unicode并使用'unicode.encode（'utf-8'）'我将Unicode转换为字符串。 我尝试使用string.printable，但只包含ASCII。

Answer 1

您可以使用unicodedata库。

import unicodedata

def strip_string(self, string):
  """Cleans a string based on a whitelist of printable unicode categories
  You can find a full list of categories here:
  http://www.fileformat.info/info/unicode/category/index.htm
  """
  letters     = ('LC', 'Ll', 'Lm', 'Lo', 'Lt', 'Lu')
  numbers     = ('Nd', 'Nl', 'No')
  marks       = ('Mc', 'Me', 'Mn')
  punctuation = ('Pc', 'Pd', 'Pe', 'Pf', 'Pi', 'Po', 'Ps')
  symbol      = ('Sc', 'Sk', 'Sm', 'So')
  space       = ('Zs',)

  allowed_categories = letters + numbers + marks + punctuation + symbol + space

  return u''.join([ c for c in string if unicodedata.category(c) in allowed_categories ])

来源：https://gist.github.com/Jonty/6705090