标记具有相同名称的条目?

时间:2013-07-08 17:39:01

标签: python

我正在处理人们输入姓名和一些联系信息的数据。但是,由于他们无法为某些字段输入多个条目,因此有些人多次输入其名称,导致“重复”条目......

我正在尝试使用变量'flag'标记同一用户的重复条目。

对于每一行,我想要发生的是,如果行中的名称条目与下一行中的名称条目不同,则标志条目应该增加1。

我该怎么做?

这是我目前的代码:

# FLAG 2

import csv

myjson = []

with(open("ieca_first_col_fake_text.txt", "rU")) as f:
     sheet = csv.DictReader(f,delimiter="\t")
     sheet.fieldnames.append('flag')
     print sheet.fieldnames
     for row in sheet:
        myjson.append(row)

flag_counter = 0
myjson[0]['flag'] = flag_counter

for i in range(len(myjson)-1):
    if myjson[i]['name'] != myjson[i+1]['name']:
       myjson[i+1]['flag'] = flag_counter + 1
    else:
       myjson[i]['flag'] = flag_counter

for i in range(len(myjson)):
    print myjson[i]

这是示例数据:

name    phone   email   website    area   degree
Diane Grant Albrecht M.S.           
Lannister G. Cersei M.A.T., CEP 111-222-3333    cersei@got.com  www.got.com
Argle D. Bargle Ed.M.           
Sam D. Man Ed.M.    000-000-1111    dman123@gmail.com   www.daManWithThePlan.com
Sam D. Man Ed.M.            
Sam D. Man Ed.M.    111-222-333     dman123@gmail.com   www.daManWithThePlan.com
D G Bamf M.S.           
Amy Tramy Lamy Ph.D.            

这是对示例数据进行操作产生的输出:

['name', 'phone', 'email', 'website', 'flag']
{'website': '', 'phone': '', 'flag': 0, 'name': 'Diane Grant Albrecht M.S.', 'email': ''}
{'website': 'www.got.com', 'phone': '111-222-3333', 'flag': 1, 'name': 'Lannister G. Cersei M.A.T., CEP', 'email': 'cersei@got.com'}
{'website': '', 'phone': '', 'flag': 1, 'name': 'Argle D. Bargle Ed.M.', 'email': ''}
{'website': 'www.daManWithThePlan.com', 'phone': '000-000-1111', 'flag': 0, 'name': 'Sam D. Man Ed.M.', 'email': 'dman123@gmail.com'}
{'website': None, 'phone': '', 'flag': 0, 'name': 'Sam D. Man Ed.M.', 'email': None}
{'website': 'www.daManWithThePlan.com', 'phone': '111-222-333', 'flag': None, 'name': 'Sam D. Man Ed.M.', 'email': '    dman123@gmail.com'}
{'website': '', 'phone': '', 'flag': 1, 'name': 'D G Bamf M.S.', 'email': ''}
{'website': '', 'phone': '', 'flag': 1, 'name': 'Amy Tramy Lamy Ph.D.', 'email': ''}

请注意,标志与所需的模式不对应。

这是一个理想的输出(注意标志条目的差异):

['name', 'phone', 'email', 'website', 'flag']
{'website': '', 'phone': '', 'flag': 0, 'name': 'Diane Grant Albrecht M.S.', 'email': ''}
{'website': 'www.got.com', 'phone': '111-222-3333', 'flag': 1, 'name': 'Lannister G. Cersei M.A.T., CEP', 'email': 'cersei@got.com'}
{'website': '', 'phone': '', 'flag': 2, 'name': 'Argle D. Bargle Ed.M.', 'email': ''}
{'website': 'www.daManWithThePlan.com', 'phone': '000-000-1111', 'flag': 3, 'name': 'Sam D. Man Ed.M.', 'email': 'dman123@gmail.com'}
{'website': None, 'phone': '', 'flag': 3, 'name': 'Sam D. Man Ed.M.', 'email': None}
{'website': 'www.daManWithThePlan.com', 'phone': '111-222-333', 'flag': 3, 'name': 'Sam D. Man Ed.M.', 'email': '    dman123@gmail.com'}
{'website': '', 'phone': '', 'flag': 4, 'name': 'D G Bamf M.S.', 'email': ''}
{'website': '', 'phone': '', 'flag': 5, 'name': 'Amy Tramy Lamy Ph.D.', 'email': ''}

1 个答案:

答案 0 :(得分:0)

编辑: Ths循环适用于我(按预期输出):

for i in range(len(myjson)-1):
    if myjson[i]['name'] != myjson[i+1]['name']:
        print "not same" ,myjson[i]['name'] ,' ', myjson[i+1]['name']
        flag_counter = flag_counter + 1
        myjson[i+1]['flag'] = flag_counter
    else:
        print 'equal', myjson[i]['name'] ,' ', myjson[i+1]['name']
        myjson[i]['flag'] = flag_counter

请注意,我必须手动格式化csv文件(标签不是标签,而是空格)。确保文件中的内容正确无误。名称必须完全正确,不允许有其他空格

但我不确定这是否是唯一的错误,因为有许多危险的“一个一个”的陷阱。如果它仍然不起作用,只需更新输出和代码,我们就会看到!