运行时使用多处理的编译脚本崩溃

时间:2019-04-30 20:25:47

标签: python-3.x python-multiprocessing

我编写了一个简单的脚本,该脚本使用Multiprocessing从多个数据库中获取相应的记录,每个数据库都包含同一记录的不同信息。该脚本可以在我的IDE和cmd上正常运行,但是每当我尝试使用PyInstaller对其进行编译时,我都会立即出现黑屏,然后发出大量错误消息。

这是基于Python36的,涉及psycopg2,fiona和shapely,因为生成的文件是shapefile。但是我之前还编译了涉及这些模块的其他脚本,它们运行良好。

import psycopg2
import fiona
from shapely.geometry import mapping
from shapely.wkt import loads
import re
import numpy
from multiprocessing import Process


def A(list):
    for file in list:
        query database A, generate shapefile for product A


def B(list):
    for file in list:
        query database B, generate shapefile for product B


def C(list):
    for file in list:
        query database C, generate shapefile for product C


if __name__ == '__main__':
    e = Process(target=A, args=(scopes,))
    m = Process(target=B, args=(scopes,))
    p = Process(target=C, args=(scopes,))
    e.start()
    m.start()
    p.start()
    e.join()
    print("\nProduct A is done")
    m.join()
    print("Product B is done")
    p.join()
    print("Product C is done")

在编译过程中生成的规范如下:

# -*- mode: python -*-

block_cipher = None


a = Analysis(['Scope Process Monitor.py'],
             pathex=['C:\\Python36-32\\Lib\\site-packages\\osgeo', 'C:\\Users\\myname\\OneDrive - Company\\Scripts\\Scope Process Monitor'],
             binaries=[],
             datas=[],
             hiddenimports=[],
             hookspath=[],
             runtime_hooks=[],
             excludes=[],
             win_no_prefer_redirects=False,
             win_private_assemblies=False,
             cipher=block_cipher,
             noarchive=False)
pyz = PYZ(a.pure, a.zipped_data,
             cipher=block_cipher)
exe = EXE(pyz,
          a.scripts,
          a.binaries,
          a.zipfiles,
          a.datas,
          [],
          name='Scope Process Monitor',
          debug=False,
          bootloader_ignore_signals=False,
          strip=False,
          upx=True,
          runtime_tmpdir=None,
          console=True )

我猜想我需要在脚本的某处限制CPU的使用,但这实际上是我第一次尝试Multiprocessing模块,所以我不知道如何。

0 个答案:

没有答案