Question

我目前正在构建一个使用Python pdfkit和jinja生成PDF报告的工具。

此报告建立在大量静态html和大约30个函数之上，这些函数为报告生成数据和图像（图表）。这些函数都通过pyodbc或pandas from_sql访问外部数据。

我现在遇到性能问题，报告大约需要5分钟才能构建。

我希望利用多线程来构建数据字典，但却无法弄清楚如何处理这个问题。

我当前的代码看起来像这样。

def buildReport():

    if checkKvaegCVR(SQL = checkKvaegCVRSQL(cvrNummer = cvrNummer), cursor = OEDBCursor):

        env = Environment(loader=FileSystemLoader('.'))
        template = env.get_template("templates/kvaeg/kvaegBase.html")

        pdfOptions = {
            'page-size': 'A4',
            'margin-top': '0.75in',
            'margin-right': '0.75in',
            'margin-bottom': '0.75in',
            'margin-left': '0.75in',
            'quiet': '',
            'encoding': "UTF-8",
            'footer-right': '[page]'
        }

        css = 'static/css/style.css'

        template_vars = {'kvaegForsideBillede': imageBuilder()['kvaegForsideBillede'],
                        'bagsideBillede': imageBuilder()['bagsideBillede'],
                        'navn' : bedriftAdresse(cvrNummer = cvrNummer, 
                                                cursor = KundeAnalyseDBCursor)[0],
                        'adresse' : bedriftAdresse(cvrNummer = cvrNummer, 
                                                cursor = KundeAnalyseDBCursor)[1],
                        'postnrBy' : str(int(bedriftAdresse(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor)[2])) + ' ' + 
                                            bedriftAdresse(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor)[3],
                        'fremstillingsprisKorr': imageBuilder()['fremstillingsprisKorr'],
                        'fremstillingsprisForbedring':imageBuilder()['fremstillingsprisForbedring'],
                        'graesoptagelse':kgGraesPrKo(),
                        'indreSaedskifteKort':indreSaedskifteKortPNG(CVRPunkt = CVRPunkt(cvrNummer, KundeAnalyseDBCursor), 
                                                                    CVRBuffer = CVRBuffer(cvrNummer, KundeAnalyseDBCursor),
                                                                    indreSaedskifteKort = indreSaedskifteKort(indreSaedskifteKortSQL = indreSaedskifteKortSQL(cvrNummer = cvrNummer), cursor = KundeAnalyseDBCursor)),
                        'naboKort':naboKortPNG(CVRPunkt = CVRPunkt(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor), 
                                                CVRBuffer = CVRBuffer(cvrNummer = cvrNummer, cursor = KundeAnalyseDBCursor),
                                                naboKort = naboKort(naboMarkerSQL = naboMarkerSQL(cvrNummer = cvrNummer), 
                                                                    egneMarkerSQL = egneMarkerSQL(cvrNummer = cvrNummer), 
                                                                    cursor = KundeAnalyseDBCursor))
                        ...
                        ...
                        30 more functions here
                        ...
                        ...}

        pdfkit.from_string(template.render(template_vars), 'KvaegRapport - {}.pdf'.format(cvrNummer), options=pdfOptions, css=css)
        print('Rapporten er klar')
    else:
        print('Kan ikke bygge rapport på dette CVR nummer')

我想使用多线程构建字典“Template_vars”（可能在我的主函数之外）

有什么建议吗？

Answer 1

我可以建议关注但是使用多处理（代码未经过测试）：

from multiprocessing import Process, Queue


def make_smth(func, queue, name, *args, **kwargs):
    queue.put((name, func(*args, **kwargs)))


result_queue = Queue()
processes = list()
processes.append(
    Process(target=make_smth,
            args=(bedriftAdresse, result_queue, "navn"),
            kwargs={cvrNummer: cvrNummer, cursor: KundeAnalyseDBCursor[0]}
    )
)
processes.append(
    Process(target=make_smth,
            args=(kgGraesPrKo, result_queue, "graesoptagelse"),
            kwargs={}
    )
)
#...... You should do it for each of your functions

for p in processes:
    p.start()

template_vars = {}
result = result_queue.get()
while result:
    template_vars[result[0]] = result[1]
    result = result_queue.get()

使用多线程构建python dict

1 个答案: