修复python元组正则表达式的问题?

时间:2015-03-15 21:31:29

标签: python regex list python-2.7 encoding

我有一个很大的.txt文件,由word1word2idnumber组成,如下所示:

s = '''
Vaya ir VMM03S0 0.427083
mañanita mañana RG 0.796611
, , Fc 1
buscando buscar VMG0000 1
una uno DI0FS0 0.951575
lavadora lavadora NCFS000 0.414738
con con SPS00 1
la el DA0FS0 0.972269
que que PR0CN000 0.562517
sorprender sorprender VMN0000 1
a a SPS00 0.996023
una uno DI0FS0 0.951575
persona persona NCFS000 0.98773
muy muy RG 1
especiales especial AQ0CS0 1
para para SPS00 0.999103
nosotros nosotros PP1MP000 1
, , Fc 1
y y CC 0.999962
la lo PP3FSA00 0.0277039
encontramos encontrar VMIP1P0 0.65
. . Fp 1

Pero pero CC 0.999764
vamos ir VMIP1P0 0.655914
a a SPS00 0.996023
lo el DA0NS0 0.457533
que que PR0CN000 0.562517
interesa interesar VMIP3S0 0.994868
LO_QUE_INTERESA_La lo_que_interesa_la NP00000 1
lavadora lavador AQ0FS0 0.585262
tiene tener VMIP3S0 1
una uno DI0FS0 0.951575
clasificación clasificación NCFS000 1
A+ a+ NP00000 1
, , Fc 1
de de SPS00 0.999984
las el DA0FP0 0.970954
que que PR0CN000 0.562517
ahorran ahorrar VMIP3P0 1
energía energía NCFS000 1
, , Fc 1
si si CS 0.99954
no no RN 0.998134
me me PP1CS000 0.89124
equivoco equivocar VMIP1S0 1
. . Fp 1

Lava lavar VMIP3S0 0.397388
hasta hasta SPS00 0.957698
7 7 Z 1
kg kilogramo NCMN000 1
, , Fc 1
no no RN 0.998134
está estar VAIP3S0 0.999201
nada nada RG 0.135196
mal mal RG 0.497537
, , Fc 1
se se P00CN000 0.465639
le le PP3CSD00 1
veía ver VMII3S0 0.62272
un uno DI0MS0 0.987295
gran gran AQ0CS0 1
tambor tambor NCMS000 1
( ( Fpa 1
de de SPS00 0.999984
acero acero NCMS000 0.973481
inoxidable inoxidable AQ0CS0 1
) ) Fpt 1
y y CC 0.999962
un uno DI0MS0 0.987295
consumo consumo NCMS000 0.948927
máximo máximo AQ0MS0 0.986111
de de SPS00 0.999984
49 49 Z 1
litros litro NCMP000 1
Mandos mandos NP00000 1
intuitivos intuitivo AQ0MP0 1
, , Fc 1
todo todo PI0MS000 0.43165
muy muy RG 1
bien bien RG 0.902728
explicado explicar VMP00SM 1
, , Fc 1
nada nada PI0CS000 0.850279
que que PR0CN000 0.562517
ver ver VMN0000 0.997382
con con SPS00 1
hola RG 0.90937838
como VMP00SM 1
estas AQ089FG 0.90839
la el DA0FS0 0.972269
lavadora lavadora NCFS000 0.414738
de de SPS00 0.999984
casa casa NCFS000 0.979058
de de SPS00 0.999984
mis mi DP1CPS 0.995868
padres padre NCMP000 1
Además además NP00000 1
también también RG 1
seca seco AQ0FS0 0.45723
preciadas preciar VMP00PF 1
. . Fp 1'''

例如s"文件"我想提取以idsAQ开头的RG,然后是word2,但是他们必须一个接一个地 上面的例子这个词包含了一个接一个的订单

muy muy RG 1
especial especial AQ0CS0 1

对于示例,这些单词并不是一个接一个的顺序,所以我不想在元组中提取它们:

hola RG 0.90937838
como VMP00SM 1
estas AQ089FG 0.90839

我想创建一个正则表达式,在元组列表中只提取word2后面跟id这样的:[('word2','id')]所有.txt文件和所有单词这是一个接一个的命令。 对于上面的示例,这是唯一有效的输出:

muy muy RG 1
especiales especial AQ0CS0 1

también también RG 1
seca seco AQ0FS0 0.45723

然后将它们返回到一个带有完整id的元组中,因为它们保留了一个接一个的顺序:

[('muy', 'RG', 'especial', 'AQ0CS0'), ('también', 'RG', 'seco', 'AQ0FS0')]

我尝试了以下内容:

在:

t = re.findall(r'(\w+)\s*(RG)[^\n]*\n[^\n]*?(\w+)\s*(AQ\w*)', s)
print t

但是我的输出是错误的,因为它会删除重音和一些字符:

出:

[('muy', 'RG', 'especial', 'AQ0CS0'), ('n', 'RG', 'seco', 'AQ0FS0')]

代替,这是正确的:

[('muy', 'RG', 'especial', 'AQ0CS0'), ('también', 'RG', 'seco', 'AQ0FS0')]

有人可以帮我理解上面的示例发生了什么,以及如何修复它以捕获保持一个接一个发生的word2id?先谢谢你们。

2 个答案:

答案 0 :(得分:1)

如果您想要包含完整的ID,请将其添加到正则表达式中:

re.findall(r'^(\w+)\s.+\s(RG)\s[0-9.]+\n(.+)\s.+\s(AQ[A-Z0-9]+)', s, re.M)

请注意,\w类不匹配非ASCII字符。将s解码为unicode并使用Unicode正则表达式:

re.findall(r'^(\w+)\s.+\s(RG)\s[0-9.]+\n(.+)\s.+\s(AQ[A-Z0-9]+)',
    s.decode('utf8'), re.M | re.UNICODE)

用于解码的编解码器取决于您的输入文件;我在这里选择了UTF-8作为例子,但这不一定正确。

演示:

>>> re.findall(r'^(\w+)\s.+\s(RG)\s[0-9.]+\n^(.+)\s.+\s(AQ[A-Z0-9]+)',
...     s.decode('utf8'), re.M | re.UNICODE)
[(u'muy', u'RG', u'especiales', u'AQ0CS0'), (u'muy', u'RG', u'sencilla', u'AQ3948')]

答案 1 :(得分:1)

def code(aline):
    try:
        a,b,c,d = aline.split()
        return c[:2]
    except ValueError:
        return ''

result = []
l2 = ''
with open('texte.txt') as fp:
    for l3 in fp:
        l1, l2 = l2, l3
        if code(l1)=='RG' and code(l2)=='AQ':
            a,b,c,d = l1.split()
            e,g,h,j = l2.split()
            result.append((a, c, e, h))
print(result)