Question

在python社区的帮助下，我开始学习python来处理大约5亿（40G）的数据，并编写了以下脚本。

输入文件格式 -

Studentid,Subject,DateTime,Grade
001,Biology,Mon Apr 25 19:32:00 PDT 2013,B
001,Literature,Wed Apr 10 15:31:00 PST 2013,B
001,Math,Mon Apr 22 01:32:00 PDT 2013,A
002,Biology,Mon Apr 25 19:32:00 PDT 2013,A
002,Math,Mon Apr 22 16:31:14 PDT 2013,C
002,Math,Wed Apr 10 15:31:00 PST 2013,C
003,Biology,Mon Apr 22 13:31:00 PDT 2013,A
003,Irdu,Wed Apr 10 15:31:00 PST 2013,A

输出报告

003,Irdu;Wed Apr 10 15:31:00 PST 2013;A#Biology;Mon Apr 22 13:31:00 PDT 2013;A
002,Math;Wed Apr 10 15:31:00 PST 2013;C#Math;Mon Apr 22 16:31:14 PDT 2013;C#Biology;Mon Apr 25 19:32:00 PDT 2013;A
001,Literature;Wed Apr 10 15:31:00 PST 2013;B#Math;Mon Apr 22 01:32:00 PDT 2013;A#Biology;Mon Apr 25 19:32:00 PDT 2013;B

Python脚本

import csv
import time
import operator
import sys, getopt
import os

from collections import defaultdict
from datetime import datetime
from operator import itemgetter

start = time.time()
def elapsed():
    return time.time() - start

def date_key(row):
  try:
    formatRow = row[1].replace('PDT ','')
    formatRow = formatRow.replace('PST ','')
    return datetime.strptime(formatRow, "%a %b %d %X %Y")
  except Exception, e:
     print ("Error in sorting the date: %s \nRow : %s" % (e, row))
     pass

def processRecords(accountsData, fileName):
  for v in accountsData.itervalues():
    try:
      v.sort(key=date_key)
    except Exception, e:
      pass

  with open(fileName, 'a') as writer:
    for pid,v in accountsData.iteritems():
      csv = '#'.join([';'.join(t) for t in v])
      writer.write("%s,%s\n" % (pid, csv))

def main(argv):
  inputFile = ''
  outputFile = ''
  batchsize = 20000000
  try:
    opts, args = getopt.getopt(argv,"hi:o:b:",["ifile=","ofile=","bsize="])
  except getopt.GetoptError:
    print 'ReportToFileBatches.py -i <inputfile> -o <outputfile> -b<batchsize>[default=20000000]'
    sys.exit(2)
  for opt, arg in opts:
    if opt == '-h':
      print 'ReportToFileBatches.py -i <inputfile> -o <outputfile> -b<batchsize>[default=20000000]'
      sys.exit()
    elif opt in ("-i", "--ifile"):
      inputFile = arg
    elif opt in ("-o", "--ofile"):
      outputFile = arg
    elif opt in ("-b", "--bsize"):
      batchsize = int(arg)

  if not (os.path.isfile(inputFile)):
    print ("\nError : File - %s does not exist." % (inputFile)) 
    sys.exit(2)

  #print "Batch Size %s " % batchsize
  linenumb = 0  
  with open(inputFile,'r') as data:
    accounts = defaultdict(list)

    for line in data:
      linenumb = linenumb + 1
      line = line.rstrip('\r\n')
      try:
        sid, subject, datetime, grade = line.split(',')
        accounts[sid].append((subject, datetime, grade))

        if (linenumb == batchsize):
          linenumb = 0
          processRecords(accounts, outputFile)
          accounts = defaultdict(list)
        else: continue
      except Exception, e:
        print ("Error : %s \nRow : %s" % (e, line))  

  if(linenumb > 0):
    processRecords(accounts, outputFile)

  print("Total time taken - %.3fs" % elapsed())

if __name__ == "__main__":
   main(sys.argv[1:])

您可以看到输出文件（报告）按日期排序，也可以按字段顺序排列。我花了更多的时间来排序日期时间列（也许）。我是Python的新人。我非常感谢您在改进我的脚本以减少处理时间方面的任何帮助。希望我有意义。

仅供参考：我确保输入文件按studentid排序并分批处理。

Answer 1

我甚至无法想象想要通过任何大量的分析或算法优化来做到这一点。

这让我觉得这是一个数据库问题。

将数据加载到数据库（sqlite自带python）
添加日期索引
转储您的输出

python是进行格式化和解析的粘合语言。不是用于管理40G数据的语言。

Answer 2

我认为你能做的最好的事情是pigeonhole sort。如果您知道时间数据的界限和范围，即最大和最小时间，这就有效。 Pigeonholing的工作原理是将您的数据分离成离散的信号。例如，如果您的数据分布在一个月左右，那么您可以拥有一个数组，其中每个索引都是一个数组，表示该月每天的1小时。您走在列表中，将数据放入该数组中。将数据放入该数组时，可以将其排序到该子列表中。

如果您正确选择鸽舍，此算法非常有效。例如，如果您的所有数据都在同一天内，并且您的鸽子洞是白天的话，那么此算法的效果并不比您的好。另一个注意事项是你的鸽笼不必均匀分布。如果几乎所有数据都是在不同日期的同一小时内，那么在该小时内添加较小的时间步骤，为其余时间添加较大的时间步。

Counting sort是另一种选择（也有更好的运行时），但由于你的文件太大，我认为你可能会遇到内存问题或滞后于不断的磁盘写入。值得研究但要小心这些延误。

编辑：刚刚意识到你的文件大40g所以为了解决那个内存问题，而不是数组数组，你可能会有一系列包含已知名称的已知名称的文件。

如何提高这个脚本的性能？

2 个答案: