Question

我对Python比较陌生，并且很难使用多处理模块来执行一些CPU密集型数据转换。我有csv格式的大量数据（约400,000个~300个变量的观察值），我想使用他们的Python API将其转换为Tableau Data Extract。编写脚本来进行转换非常简单，但只需要15分钟即可完成，因为只有1个CPU正在完成工作（使用Tableau Desktop只需要大约90秒）。我需要利用我的所有8个内核来加快转换速度。

我最初的想法是将数据拆分为8个块，每个工作8个工作站生成具有多处理模块的Tableau行列表，然后将这些行组合成单个tde表。但是，由于Tableau行对象/类是在单独的模块（tableau API）中定义的，因此我会出现酸洗和指针错误。 API很复杂，并且从许多其他模块本身开始，因此我尝试在主要全局空间中重建必要的定义都失败了。

我尝试使用Dill和PiCloud，但两次尝试仍会导致酸洗或指针错误。有没有人知道在Python中序列化和/或多处理计算的有效方法，它依赖于外部包中定义的方法/对象（无需深入研究包以尝试在程序中重新创建轮子）？

下面是我想要多进程的工作程序（我大量借鉴了Brian Bickell在这里发表的作品http://www.interworks.com/blogs/bbickell/2012/12/06/introducing-python-tableau-data-extract-api-csv-extract-example）：

from sys import argv
import os, csv, datetime, time
import dataextract as tde

csv.field_size_limit(10000000)

## Functions

# This function makes adding the columns to each row in the extract a bit easier.
def add_tde_col(colnum, row, val, t):
    # Date format used below
    dateformat = '%Y-%mm-%dd %H:%M:%S.%f'  

    if t == tdeTypes['INTEGER']:
        try: 
            convert = int(val)
            row.setInteger(colnum, convert)
        except ValueError:
            #if we bomb the cast then we just add a null 
            row.setNull(colnum)

    elif t == tdeTypes['DOUBLE']:
        try: 
            convert = float(val)
            row.setDouble(colnum, convert)
        except ValueError:                        
            row.setNull(colnum)

    elif t == tdeTypes['BOOLEAN']:
        try: 
            convert = int(val)
            if convert > -1 and convert <= 1:
                row.setBoolean(colnum, convert)
        else:
            row.setNull(colnum)
        except ValueError:
            row.setNull(colnum)

    elif t == tdeTypes['DATETIME']:
        try:
            d = datetime.datetime.strptime(val, dateformat)
           row.setDate(colnum, d.year, d.month, d.day, d.hour, d.minute, d.second, d.microsecond)
        except ValueError:
            row.setNull(colnum)

    elif t == tdeTypes['CHAR_STRING']:
        row.setCharString(colnum, val)

    elif t == tdeTypes['UNICODE_STRING']:
        row.setString(colnum, val)

    else:
        print 'Error'
        row.setNull(colnum)

# define csv input      
inputFile = 'test1.csv'

## Parameters 
tdeFileName = 'tdetest1.tde'

startTime = time.clock()

# Handy dictionary of Tableau data types
tdeTypes = {'INTEGER': 7, 'DOUBLE': 10, 'BOOLEAN': 11, 'DATE': 12, 'DATETIME': 13, 'DURATION': 14, 
            'CHAR_STRING': 15, 'UNICODE_STRING': 16}

## Define CSV Schema in dict, (truncated here for brevity)
csvSchema = []
csvSchema.append({'fAsOfDate': tdeTypes['DATETIME']})
csvSchema.append({'AsOfDate_Max': tdeTypes['DATETIME']})
csvSchema.append({'LoanID': tdeTypes['INTEGER']})
csvSchema.append({'lenderdatabaseid': tdeTypes['INTEGER']})
csvSchema.append({'loanrecordid': tdeTypes['INTEGER']})
csvSchema.append({'random_num': tdeTypes['INTEGER']})


# Try to create extract, delete if found.
try:
    tdeFile = tde.Extract(tdeFileName)
except: 
    os.system('del '+tdeFileName)
    os.system('del DataExtract.log')
    tdeFile = tde.Extract(tdeFileName)

# Open CSV
csvFile = open(inputFile, "rU")
reader = csv.reader(csvFile, delimiter = '^')

print 'Reading records from %s' % (inputFile)

# Create TDE table definition
tdeTableDef = tde.TableDefinition() 

print 'Defined table schema:'

# Build TDE Table Def from csv schema dict
for index, item in enumerate(csvSchema):
    for k, v in item.items():
        print 'Column %i: %s <%s>' % (index, k, tdeTypes.keys() [tdeTypes.values().index(v)])
        tdeTableDef.addColumn(k, v)

# Add table to extract
tdeTable = tdeFile.addTable("Extract",tdeTableDef)

print 'Writing records to %s' % (tdeFileName)

# iterate through rows and columns of csv -> add to tde
rownum = 0
for row in reader:
    if rownum == 0:
        header = row
    else:
        colnum = 0
        tdeRow = tde.Row(tdeTableDef)
        for col in row:
            if colnum+1 > len(csvSchema):
                break
            add_tde_col(colnum, tdeRow, row[colnum], csvSchema[colnum].values()[0])
            colnum += 1
        tdeTable.insert(tdeRow)
        tdeRow.close()        
    rownum += 1

print '%i rows added in total in %f seconds' % (rownum-1, time.clock()-startTime)

tdeFile.close()

csvFile.close()

Answer 1

如果您未能使用ctypes.pointer和dill进行PiCloud类型序列化，那么我认为您被卡住了。我不知道可以处理这些类型的序列化程序。 dill可以处理某些ctypes类型，但不能处理指针类型。我建议在dill的github上添加一个问题，也许魔法会发生，你会得到一个新的序列化类型。有了新的类型，我会使用pathos.multiprocessing，它应该有效。但是，在此之前，您可能需要重写以解决序列化问题。例如，如果您使用from dill.detect import badobjects, baditems, badtypes, errors，您可能会看到需要进行重写的深度。它可能像修改某些内容的导入一样简单 - 但是，因为有一个ctypes.pointer，我怀疑这很容易。

Python pickling / multiprocessing和Tableau Data Extract API的问题

1 个答案: