在Python中将数据导入Namedtuple

时间:2014-01-17 20:31:47

标签: python csv import namedtuple large-data

我正在尝试将数据导入namedtuple。数据非常大,我需要有效地导入它。我正在尝试

myData = namedtuple('myData', 'div, name, val')

csv.register_dialect('mycsv', delimiter='\t', quoting=csv.QUOTE_NONE)

with open('demand.txt', 'rb') as f:
     reader = csv.reader(f,'mycsv')

在此之后:

  • 如何将demand.txt中的整个表格批量导入到一个namedtuple中?我看到一些带有for循环的解决方案,但我想这样效率很低。

  • 我希望能够获取字段下的所有值,就像我输入data.div一样?正确的格式应该是namedtuples的元组吗?

2 个答案:

答案 0 :(得分:3)

要获取myData元组列表,请执行以下操作:

data = map(myData._make, reader) # or [myData._make(r) for r in reader]

获取特定字段的所有值:

from operator import attrgetter
data_divs = map(attrgetter('div'), data) # or [r.div for r in data]

但是,如果您担心效率,您应该知道使用带有namedtuples的属性访问比索引访问慢几倍。这会更快:

from operator import itemgetter
div_idx = myData._fields.index('div')
data_divs = map(itemgetter(div_idx), data) # or [r[div_idx] for r in data]

两者都产生相同的值列表。

答案 1 :(得分:0)

请使用namedtuple查看下面的示例代码段。

from csv import reader
from collections import namedtuple

saleRecord = namedtuple('saleRecord','shopId saleDate totalSales totalCustomers')
fileHandle = open("salesRecord.csv","r")
csvFieldsList=csv.reader(fileHandle)
for fieldsList in csvFieldsList:
    shopRec = saleRecord._make(fieldsList)
    overAllSales += shopRec.totalSales;

print("Total Sales of The Retail Chain =",overAllSales)

请在我的博客中参考我关于Python集合的文章: https://techietweak.wordpress.com/2015/11/11/python-collections/

希望这有帮助。