我正在尝试运行两个python脚本,script1调用script2,script2是一个长时间运行的进程,它实时将东西传回script1。
这是script1:
from script2 import Test2
model_info = Test2()
info = model_info.test2_run()
print info
这是script2:
class Test2:
def __init__(self):
print("running")
def test2_run(self):
a = 100000
for line in range(a):
return line
如何让script2不断地将line
反馈给script1?
答案 0 :(得分:2)
以下是实现这一目标的四种不同方法。假设您有两个python脚本producer.py
和consumer.py
,如下所示。
<强> producer.py 强>
import multiprocessing
import threading
range_limit = 3
class LineProducer(object):
def __init__(self, msg = ''):
print(self.prepare_line('Initializing %s%s' % (self.__class__.__name__, msg)))
def prepare_line(self, line):
return '%d - %d : %s' % (multiprocessing.current_process().pid, threading.current_thread().ident, line)
def run(self):
for line in range(range_limit):
yield self.prepare_line(line)
class MultiThreadedLineProducer(LineProducer):
def produce(self, q):
for line in range(range_limit):
q.put(self.prepare_line(line))
q.put(None)
def run(self):
q = multiprocessing.Queue()
threading.Thread(target = self.produce, args = (q,)).start()
while 1:
line = q.get(True)
if line == None:
break;
yield line
class MultiProcessedLineProducer(LineProducer):
def produce(self, q):
for line in range(range_limit):
q.put(self.prepare_line(line))
q.put(None)
def run(self):
q = multiprocessing.Queue()
multiprocessing.Process(target = self.produce, args=(q,)).start()
while 1:
line = q.get(True)
if line == None:
break;
yield line
if __name__ == '__main__':
for line in LineProducer(' inside a separate process').run():
print(line)
consumer.py
import sys
from subprocess import Popen, PIPE, STDOUT
from producer import LineProducer, MultiThreadedLineProducer, MultiProcessedLineProducer
#using normal yield
for line in LineProducer().run():
sys.stdout.write(line + '\n')
#using yield with multi threading
for line in MultiThreadedLineProducer().run():
sys.stdout.write(line + '\n')
#using yield with mult processing
for line in MultiProcessedLineProducer().run():
sys.stdout.write(line + '\n')
#using normal yield in child process
for line in Popen(['python', 'producer.py'], bufsize = 0, shell = False, stdout = PIPE, stderr = STDOUT).stdout:
sys.stdout.write(line)
现在,如果你执行python consumer.py
,它将产生类似于下面给出的输出
8834 - 140419442169664 : Initializing LineProducer
8834 - 140419442169664 : 0
8834 - 140419442169664 : 1
8834 - 140419442169664 : 2
8834 - 140419442169664 : Initializing MultiThreadedLineProducer
8834 - 140419409151744 : 0
8834 - 140419409151744 : 1
8834 - 140419409151744 : 2
8834 - 140419442169664 : Initializing MultiProcessedLineProducer
8837 - 140419442169664 : 0
8837 - 140419442169664 : 1
8837 - 140419442169664 : 2
8839 - 140280258066240 : Initializing LineProducer inside a separate process
8839 - 140280258066240 : 0
8839 - 140280258066240 : 1
8839 - 140280258066240 : 2
输出格式为PID - ThreadID : Message
,其中PID
是进程ID,ThreadID
是生成Message
的线程标识符。
现在您可以看到,第一组输出的PID和ThreadID对所有行都相同。这里的供应是基于需求,即当消费者要求时产生输出线。
在第二组中,PID保持不变,但生成的行具有不同的ThreadID。那是因为,生产者和消费者在不同的线程中运行。无论消费者需求如何,都会生产出生产线。 Python中的一个线程使用本机线程,比如pthread,但由于Global Interpreter Lock,没有两个线程可以同时运行,这意味着你不会真正意义上的并行性。
现在,进入第三组,PID是不同的,这意味着消费者运行在与当前进程分叉的不同进程中。这实现了真正的并行性,并且可以有效地利用多个CPU核心。与多线程一样,无论消费者需求如何,这也会产生线路。
多线程和多处理使用队列在线程/进程之间进行通信。您可以通过在创建队列时指定项目数来限制行的生成。通过这种方式,生成行直到队列变满。从队列中消耗线条后,生产恢复。
现在,最后一组,它使用fork / exec机制来创建进程并用指定的可执行文件替换映像。它与第一组相同,但具有不同的PID和ThreadID。这种方法和第三种方法的不同之处在于,您不能使用队列在进程之间进行通信,并且依赖于管道和其他IPC机制。此外,producer.py
应该是一个可执行的python脚本。在这种情况下,无论消费者的需求如何,都会生产生产线。