如何在Python中解析混合CSV文件?

时间:2011-10-26 12:37:40

标签: python csv

我正在处理与此类似的CSV文件

foo; val1; position1
bar; name1; address1; phone_nbr1
bar; name2; address2; phone_nbr2
foo; val2; position2
bar; name3; address3; phone_nbr3
bar; name4; address4; phone_nbr4
bar; name5; address5; phone_nbr5
bar; name6; address6; phone_nbr6
foo; val3; position3

毋庸置疑,我无法修改CSV。

foo行中显示的实例与bar行的实例不同(请注意,它们甚至没有相同数量的字段)

我只需要阅读这些数据,无需编写。

我的第一个想法是将文件分成两个临时文件,然后用csv.DictReader分别读取每个文件,但我真的不喜欢这种方法。

有更简单的方法吗?我想尽可能避免将文件写入磁盘。

为了记录,我在Solaris 10机器上使用Python2.7。

6 个答案:

答案 0 :(得分:6)

您可以从两个不同列表中的csv.reader收集记录,具体取决于它们的长度(或用于区分两个流的标准):

list1 = []
list2 = []
with open("input.csv", "rb") as f:
    for record in csv.reader(f, delimiter=";"):
        if len(record) == 3:
            list1.append(record)
        else:
            list2.append(record)

答案 1 :(得分:3)

csv.reader()对此没有任何问题:

import csv
foo = []
bar = []
with open("test.csv", 'r') as f:
    c = csv.reader(f, delimiter = ";")
    for row in c:
        if row[0] == "foo":
            foo.append(row[1:])
        elif row[0] == "bar":
            bar.append(row[1:])
print(a)
print(b)

结果

[[' val1', ' position1'], [' val2', ' position2'], [' val3', ' position3']]
[[' name1', ' address1', ' phone_nbr1'], [' name2', ' address2', ' phone_nbr2'], [' name3', ' address3', ' phone_nbr3'], [' name4', ' address4', ' phone_nbr4'], [' name5', ' address5', ' phone_nbr5'], [' name6', ' address6', ' phone_nbr6']]

答案 2 :(得分:1)

在每一行上使用str.split怎么样?

items = line.split(";")

然后,如果items列表中的第一项是foo,那么你做了一件事,如果它是bar你还做其他事情。

答案 3 :(得分:0)

线条不同的事实不是csv模块的问题,但您必须根据第一个“单元格”不同地分析线条内容。

代码示例:

with open(input_file, 'rb') as fin:
    c = csv.reader(fin)
    for line in c:
         if line[0] == 'foo':
              # do some treatment
         elif line[0] == 'bar':
              # do something else
    c.close()

答案 4 :(得分:0)

从您的问题中不清楚您实际想要实现的是什么,但我不确定您是否需要csv模块。

for row in myfile.readlines():
    cols = [r.strip() for r in row.split(';')]
    if (cols[0] == "foo"):
        # Do something for foo
    elif (cols[0] == "bar"):
        # Do something for bar

答案 5 :(得分:0)

如下:

foos = []
bars = []
for line in csv.reader(open("file.csv","rb"), delimiter=";"):
  if line[0] == "foo":
    foos.append(Foo(line[1], line[2]))
  else:
    bars.append(Bar(line[1], line[2], line[3]))

假设您有一个Foo和一个Bar类将其余的行单元格作为参数。