CSV阅读器对象无法读取整个文件[Python]

时间:2013-11-12 23:40:18

标签: python csv

我目前正在开发一个在python中使用csv模块的项目。我创建了一个单独的类来打开预先存在的csv文件,修改每行上的数据,然后将数据保存到新的csv文件中。

原始文件有1438行,并且通过将一些测试代码放入处理写入的类中,它表示它正在向新的csv文件写入1438行。在检查文件本身时,新创建的文件中实际上有1438行。但是,当我以这种方式使用标准cvs模块时:

reader = csv.reader(open('naiveData.csv', 'rb'))

它只进入第1410行(甚至不是整行,它在行结束之前结束了一个半的​​索引。我不确定是什么导致这个。

这就是我访问读者的方式:

 for row in reader:                                                          
    print row 

以下是输出失败的部分:

['UNPM', '16', '2.125', '910', 'athlete', 'enrolled'] 
['UNPM', '14', '2.357', '1020', 'non-athlete', 'enrolled']    
['UNDC', '17', '2.071', '910', 'athlete', 'unenrolled']  
['KINS', '15', '2.6', '910', 'athlete', 'enrolled']  
['PHYS', '16', '1.5', '900', 'non-']

最后一个名单应该有['PHYS','16','1.5','900','非运动员','登记']。

关于可能导致此问题的任何想法?提前谢谢!

修改

以下是错误发生区域周围CVS文件中的行:

KINS,15,2.6,910,athlete,enrolled
PHYS,16,1.5,900,non-athlete,enrolled
UNPL,15,3,960,non-athlete,enrolled

2 个答案:

答案 0 :(得分:6)

我愿意打赌这是问题,虽然很难确定你何时只向我们展示了3行代码,而不是一个可重复的例子。

你正在做这样的事情:

old_reader = csv.reader(open('old.csv', 'rb'))
writer = csv.writer(open('new.csv', 'wb'))
for row in old_reader:
    writer.writerow(transform(row))
new_reader = csv.reader(open('new.csv', 'rb'))
for row in new_reader:
    print row

当您打开new.csv进行阅读时,您尚未关闭new.csv进行撰写。因此,最后一个缓冲区尚未刷新到磁盘。所以你看不到它。

但是,当您的脚本完成时,writer超出范围,文件对象不再具有任何引用,因此它将被刷新并关闭。因此,当您从程序外部检查它时,脚本完成后,现在它已完成。 (请注意,这种行为明确无法保证;您只是幸运。)

这就是为什么你不应该只是在表达式的中间放一个open来泄漏文件。请改用with语句。例如:

with open('old.csv', 'rb') as oldf, open('new.csv', 'wb') as newf:
    old_reader = csv.reader(oldf)
    writer = csv.writer(newt)
    for row in old_reader:
        writer.writerow(transform(row))
with open('new.csv', 'rb') as newf:
    new_reader = csv.reader(newf)
    for row in new_reader:
        print row

答案 1 :(得分:0)

我遇到了类似的问题,但最终问题是在csv文件的一行中缺少逗号