Question

我正在使用Python flask Web服务，需求就像... 应用将以csv或xlsx格式接收一个文件。我阅读了此文件并将其转换为Pandas数据框。现在，我需要遍历数据帧的每一行并检查特定条件。如果满足条件，则需要更新同一数据框中的几列。

我已经使用下面的代码完成了操作，但是我对性能不满意...

def ExecuteInParallel(convertContract,ratesDf,inputDf):
    for index, row in inputDf.iterrows():

               currencyFound = ratesDf.query('CCY1 =="{0}" and CCY2 == "{1}"'.format(row[convertContract.INPUT_CURRENCY]
                                                                                ,row[convertContract.RETURN_CURRENCY]))
               if(len(currencyFound.index) == 0):
                   raise BadRequest("Given Currency combination not found with provided date.")

               currentrate = currencyFound.Rate.values[0]
               if(convertContract.ROUNDING != None and convertContract.ROUNDING != ""):
                   rounding = int(convertContract.ROUNDING)
                   if(rounding > 0):
                       convertedamount = round(float(row[convertContract.INPUT_AMOUNT]) * currentrate,int(convertContract.ROUNDING))
                       inputDf.at[index,convertContract.RETURN_VALUE] = convertedamount
               else:
                   convertedamount = float(row[convertContract.INPUT_AMOUNT]) * currentrate
                   inputDf.at[index,convertContract.RETURN_VALUE] = convertedamount
               if(convertContract.RETURN_RATE == "True"):
                   inputDf.at[index,convertContract.RETURN_VALUE + "_FX Rate"] = currentrate

我已经进行了一些性能分析，并得出结论，遍历1万行大约需要470秒。

我想对1000万行执行它。因此，我尝试使用Python进行线程编程，以节省功能调用，但使用较小的数据框。我创建了500行数据框的卡盘，并将其传递给上述方法，这是它自己的卡盘，但是甚至没有发现一秒钟的差异。

有人可以帮我吗？

def ConvertdataFramesValues(self,contract,ratesDf,inputDf):
    try:

            treadList = []
            size = 500
            list_of_dfs = list(inputDf.loc[i:i + size - 1,:] for i in range(0, len(inputDf),size))
            for frame in list_of_dfs:

                t1 = threading.Thread(target=ExecuteInParallel,args=(convertContract,ratesDf,frame))
                treadList.append(t1)
                t1.start()

            for t in treadList:
                t.join()

            inputDf = pd.concat(list_of_dfs)
            print(list_of_dfs[0].head())
        return inputDf

    except Exception as e:
        msg = "unable to convert data frame values. " + str(e)
        print(msg)
        raise BadRequest(msg)

如何以1000万行逐行迭代熊猫数据框

0 个答案: