Question

我有一个很大的.txt文件，由word1，word2，id，number组成，如下所示：

s = '''
Vaya ir VMM03S0 0.427083
mañanita mañana RG 0.796611
, , Fc 1
buscando buscar VMG0000 1
una uno DI0FS0 0.951575
lavadora lavadora NCFS000 0.414738
con con SPS00 1
la el DA0FS0 0.972269
que que PR0CN000 0.562517
sorprender sorprender VMN0000 1
a a SPS00 0.996023
una uno DI0FS0 0.951575
persona persona NCFS000 0.98773
muy muy RG 1
especiales especial AQ0CS0 1
para para SPS00 0.999103
nosotros nosotros PP1MP000 1
, , Fc 1
y y CC 0.999962
la lo PP3FSA00 0.0277039
encontramos encontrar VMIP1P0 0.65
. . Fp 1

Pero pero CC 0.999764
vamos ir VMIP1P0 0.655914
a a SPS00 0.996023
lo el DA0NS0 0.457533
que que PR0CN000 0.562517
interesa interesar VMIP3S0 0.994868
LO_QUE_INTERESA_La lo_que_interesa_la NP00000 1
lavadora lavador AQ0FS0 0.585262
tiene tener VMIP3S0 1
una uno DI0FS0 0.951575
clasificación clasificación NCFS000 1
A+ a+ NP00000 1
, , Fc 1
de de SPS00 0.999984
las el DA0FP0 0.970954
que que PR0CN000 0.562517
ahorran ahorrar VMIP3P0 1
energía energía NCFS000 1
, , Fc 1
si si CS 0.99954
no no RN 0.998134
me me PP1CS000 0.89124
equivoco equivocar VMIP1S0 1
. . Fp 1

Lava lavar VMIP3S0 0.397388
hasta hasta SPS00 0.957698
7 7 Z 1
kg kilogramo NCMN000 1
, , Fc 1
no no RN 0.998134
está estar VAIP3S0 0.999201
nada nada RG 0.135196
mal mal RG 0.497537
, , Fc 1
se se P00CN000 0.465639
le le PP3CSD00 1
veía ver VMII3S0 0.62272
un uno DI0MS0 0.987295
gran gran AQ0CS0 1
tambor tambor NCMS000 1
( ( Fpa 1
de de SPS00 0.999984
acero acero NCMS000 0.973481
inoxidable inoxidable AQ0CS0 1
) ) Fpt 1
y y CC 0.999962
un uno DI0MS0 0.987295
consumo consumo NCMS000 0.948927
máximo máximo AQ0MS0 0.986111
de de SPS00 0.999984
49 49 Z 1
litros litro NCMP000 1
Mandos mandos NP00000 1
intuitivos intuitivo AQ0MP0 1
, , Fc 1
todo todo PI0MS000 0.43165
muy muy RG 1
bien bien RG 0.902728
explicado explicar VMP00SM 1
, , Fc 1
nada nada PI0CS000 0.850279
que que PR0CN000 0.562517
ver ver VMN0000 0.997382
con con SPS00 1
hola RG 0.90937838
como VMP00SM 1
estas AQ089FG 0.90839
la el DA0FS0 0.972269
lavadora lavadora NCFS000 0.414738
de de SPS00 0.999984
casa casa NCFS000 0.979058
de de SPS00 0.999984
mis mi DP1CPS 0.995868
padres padre NCMP000 1
Además además NP00000 1
también también RG 1
seca seco AQ0FS0 0.45723
preciadas preciar VMP00PF 1
. . Fp 1'''

例如s＆＃34;文件＆＃34;我想提取以ids和AQ开头的RG，然后是word2，但是他们必须一个接一个地上面的例子这个词包含了一个接一个的订单：

muy muy RG 1
especial especial AQ0CS0 1

对于示例，这些单词并不是一个接一个的顺序，所以我不想在元组中提取它们：

hola RG 0.90937838
como VMP00SM 1
estas AQ089FG 0.90839

我想创建一个正则表达式，在元组列表中只提取word2后面跟id这样的：[('word2','id')]所有.txt文件和所有单词这是一个接一个的命令。 对于上面的示例，这是唯一有效的输出：

muy muy RG 1
especiales especial AQ0CS0 1

和

también también RG 1
seca seco AQ0FS0 0.45723

然后将它们返回到一个带有完整id的元组中，因为它们保留了一个接一个的顺序：

[('muy', 'RG', 'especial', 'AQ0CS0'), ('también', 'RG', 'seco', 'AQ0FS0')]

我尝试了以下内容：

在：

t = re.findall(r'(\w+)\s*(RG)[^\n]*\n[^\n]*?(\w+)\s*(AQ\w*)', s)
print t

但是我的输出是错误的，因为它会删除重音和一些字符：

出：

[('muy', 'RG', 'especial', 'AQ0CS0'), ('n', 'RG', 'seco', 'AQ0FS0')]

代替，这是正确的：

[('muy', 'RG', 'especial', 'AQ0CS0'), ('también', 'RG', 'seco', 'AQ0FS0')]

有人可以帮我理解上面的示例发生了什么，以及如何修复它以捕获保持一个接一个发生的word2和id？先谢谢你们。

Answer 1

似乎\ w +不识别特殊字符。

因此，如果您的txt严格按空格分割，则可以用\ S

替换\ w

正则表达式将是

t = re.findall(r'(\S+)\s*(RG)[^\n]*\n[^\n]*?(\S+)\s*(AQ\S*)', s)

Answer 2

在Python 2中，使用8位字符串（str），\w匹配[0-9a-zA-Z_]。但是，如果您使用unicode并使用re.UNICODE标志编译模式，则\w将匹配基于unicode数据库的单词字符。 Python documentation 7.2.1 regular expression syntax：

当LOCALE和UNICODE标记未指定时，匹配任何字母数字字符和下划线;这相当于集合[a-zA-Z0-9_]。对于LOCALE，它将匹配集[0-9_]以及为当前区域设置定义为字母数字的任何字符。如果设置了UNICODE，则会匹配字符[0-9_] 以及Unicode字符属性数据库中分类为字母数字的任何内容。

因此你可以做到

u = s.decode('UTF-8')  # or whatever encoding is in your text file
t = re.findall(r'(\w+)\s*(RG)[^\n]*\n[^\n]*?(\w+)\s*(AQ\w*)', re.UNICODE)

在Python 3中，大部分str / unicode混乱都消失了;当您以文本模式打开文件并读取其内容时，您将获得一个Python 3 str对象，该对象将所有内容作为Unicode字符处理。

python正则表达式编码的问题？

2 个答案: