Question

我正在尝试从可公开使用的Reddit数据集中构建父母/评论对的列表。

我有一个CSV文件，我将其加载到Pandas数据框中，该数据框包含带有父ID和子ID以及子注释的注释行。使用以下代码块加载数据：

import os
import multiprocessing as mp
import numpy as np 
import pandas as pd

sourcePATH = r'C:\'
workingFILE = r'\output-pt1.csv'

# filepaths

input_file = sourcePATH + workingFILE

data_df = pd.read_csv(input_file,header=None,names=['PostIDX','ParentIDX','Comment','Score','Controversiality'])

目标是扫描数据框中的每一行，并使用父ID来搜索数据框的其余部分，以查看它们是否存在父注释。如果是，则将子级和父级注释与其他信息一起存储在元组中。然后将其添加到列表中，最后将其写出到csv文件中。为此，我使用以下代码：

def checkChildParent(ParentIDX_curr, ChildIDX_curr,ChildComment_curr,ChildScore_curr,ChildCont_curr):

    idx = data_df.loc[data_df['PostIDX'] == ParentIDX_curr]

    if idx.empty is False:
        ParentComment = idx.iloc[0,2]
        ParentScore = idx.iloc[0,3]
        ParentCont = idx.iloc[0,4]
        outPut.put([ParentIDX_curr[0], ParentComment,ParentScore,ParentCont,ChildIDX_curr[0], ChildComment_curr[0],ChildScore_curr[0],ChildCont_curr[0]])


if __name__ == '__main__':
    print('Process started')
    t_start_init = time.time()
    t_start = time.time()

    noCores = 1

    #pool = mp.Pool(processes=noCores)

    update_freq = 100
    n = 1000
    #n = round(len(data_df)/8)
    flag_create = 0
    flag_run = 0
    i = 0
    outPut = mp.Queue()

    #parent_child_df = pd.DataFrame()
    #parent_child_df.coumns = ['PostIDX','ParentIDX']


    while i < n:
        #print(i)
        procs = []
        ParentIDX = []
        ParentComment = []
        ParentScore = []
        ParentCont = []
        ChildIDX = []
        ChildComment = []
        ChildScore = []
        ChildCont = []

        for worker in range(0,noCores):
            ParentIDX.append(data_df.iloc[i,1])
            ChildIDX.append(data_df.iloc[i,0])
            ChildComment.append(data_df.iloc[i,2])
            ChildScore.append(data_df.iloc[i,3])
            ChildCont.append(data_df.iloc[i,4])
            i = i + 1

        #when I call the function this way it returns the expected matches
        #checkChildParent(ParentIDX,ChildIDX,ChildComment,
        #      ChildScore,ChildCont)


        #when I call the function with Process function nothing appears to be happening
        for proc in range(0,noCores):
            p = mp.Process(target = checkChildParent, args=(ParentIDX[proc],ChildIDX[proc],ChildComment[proc],ChildScore[proc],ChildCont[proc]))
            procs.append(p)
            p.start()

        #for p in procs:
        #    p.join()

        if outPut.empty() is False:
            print(outPut.get())

该文件的顶部是一个函数，该函数扫描数据帧中给定的行，并返回匹配的父子注释的元组（如果找到）。如果我正常调用此函数，那么它将正常工作，但是当我使用Process函数调用该函数时，它与任何内容都不匹配！我猜测它传递给该函数的参数的形式正传递给引起该问题的函数，但是我一直在尝试调试整个下午，但迄今为止失败了。如果有人有任何建议，请告诉我！

谢谢！

使用Process函数时，使Python Multiprocessing Library工作的问题

0 个答案: