线程安全的Pandas变量

时间:2017-05-31 17:31:35

标签: python multithreading pandas multiprocessing

我意识到在这种情况下使用多处理模块会更好,但是我在服务器上工作需要几天才能添加模块(我不是管理员),我更喜欢让这项工作比以后更快。

我的代码不是线程安全的,如果可能的话,我试图找出如何使其线程安全。 (以下代码)当我不使用线程时,我的本地设计模块可以工作。

import sys, threading
from school.school_func import run_school_report
from class.class_func import run_class_report
from common.getdata import get_data         #locally designed module
import pandas as pd

class myThread (threading.Thread):
    def __init__(self, task, year, month, c1, c2, data):
        threading.Thread.__init__(self)
        self.task = task
        self.year = year
        self.month = month
        self.class1= c1
        self.class2= c2
        self.data = data
    def run(self):
        if self.task == "school_report":
            run_school_report(self.year, self.month, self.class1, self.class2, self.data)
            print("\nSchool report finished! \n")
        else:
            run_class_report(self.year, self.month, self.class1, self.class2)
            print("\nClass reports finished!\n")

#main script
YEAR = 2017
MONTH = 3
C1, C2, DATA = get_data('mysql', reload=False, blacklist=True)
t1 = myThread("school_report", YEAR, MONTH, C1, C2, DATA)
t2 = myThread("class_reports", YEAR, MONTH, C1, C2, DATA)
t1.start()
t2.start()
t1.join()
t2.join()
print("NOTICE:\nAll tasks successfully completed!\n\n")

变量C1,C2,DATA和赋值的类变量是pandas.DataFrame个对象。

我的问题是:

1)是否可以使此代码线程安全?

2)我应该咬紧牙关并使用多处理吗?

1 个答案:

答案 0 :(得分:1)

multiprocessing是一个核心python模块,如果你有threading,你也有multiprocessing,除非你正在运行一些特殊版本的python,其中某些核心模块已被特别删除?