如何基于单词列表标记字符串

时间:2018-10-30 17:49:34

标签: python tokenize

我想根据Python 3.6中的已知单词列表将变量名转换为商业友好名称。

我的已知单词列表如下所示,即第一个元素是已知单词,第二个是它的友好名称:

Acct,Account
Account,Account
Num,Number
Number,Number
Payee,Payee
Pymt,Payment
Type,Type

我的变量如下所示:

ACCOUNTNUM
ACCT_NUM
ACCTNUM
PAYEETYPE
PAYEE_TYP
PYMT_DT

我希望上述变量列表的输出如下所示:

Account Number
Account Number
Account Number
Payee Type
Payee Typ
Payment Dt

我该怎么做?要转换的变量名称列表约为10,000。已知单词的列表为400,000。两者都可以在文件中找到。

1 个答案:

答案 0 :(得分:1)

您可以创建已知单词的翻译映射,然后使用re.split将变量名称拆分为已知单词,将匹配项替换为映射的单词,并用另一个正则表达式替换来合并空格:

import re
known_words = '''Acct,Account
Account,Account
Num,Number
Number,Number
Payee,Payee
Pymt,Payment
Type,Type'''
variables = '''ACCOUNTNUM
ACCT_NUM
ACCTNUM
PAYEETYPE
PAYEE_TYP
PYMT_DT'''
m = {k.upper(): v for line in known_words.splitlines() for k, v in (line.split(','),)}
print([re.sub(' +', ' ', ' '.join(m.get(t, t).replace('_', '').title() for t in re.split('(%s)' % '|'.join(map(re.escape, m)), v, flags=re.IGNORECASE) if t)) for v in variables.splitlines()])

这将输出:

['Account Number', 'Account Number', 'Account Number', 'Payee Type', 'Payee Typ', 'Payment Dt']