Question

我正在运行一系列具有IPython强大parallelization功能的长期运行任务。

如何在我的IPython客户端中获取ipengines'标准输出的实时输出？

例如，我正在运行dview.map_async(fun, lots_of_args)并将fun打印到stdout。我希望看到输出正在发生。

我知道AsyncResult.display_output()，但只有在所有任务完成后才能使用。

Answer 1

你可以通过访问AsyncResult.stdout同时看到stdout，它将返回一个字符串列表，这是每个引擎的标准输出。

最简单的情况是：

print ar.stdout

您可以将此包装在一个简单的函数中，该函数在您等待AsyncResult完成时打印stdout：

import sys
import time
from IPython.display import clear_output

def wait_watching_stdout(ar, dt=1, truncate=1000):
    while not ar.ready():
        stdouts = ar.stdout
        if not any(stdouts):
            continue
        # clear_output doesn't do much in terminal environments
        clear_output()
        print '-' * 30
        print "%.3fs elapsed" % ar.elapsed
        print ""
        for eid, stdout in zip(ar._targets, ar.stdout):
            if stdout:
                print "[ stdout %2i ]\n%s" % (eid, stdout[-truncate:])
        sys.stdout.flush()
        time.sleep(dt)

说明此功能的example notebook。

现在，如果您使用较旧的IPython，您可能会看到对stdout属性访问的人为限制（'结果未就绪'错误）。这些信息在元数据中可用，因此您可以在任务未完成时获取该信息：

rc.spin()
stdout = [ rc.metadata[msg_id]['stdout'] for msg_id in ar.msg_ids ]

ar.stdout属性访问与此基本相同。

Answer 2

以防有人还在挣扎获得各个内核的普通打印输出：

我改编了minrk的答案，以便得到每个人的输出通过在程序运行时不断检查每个内核的stdout是否发生变化，内核好像是本地的一样。

asdf = dview.map_async(function, arguments)

# initialize a stdout0 array for comparison
stdout0 = asdf.stdout

while not asdf.ready():
    # check if stdout changed for any kernel
    if asdf.stdout != stdout0:
        for i in range(0,len(asdf.stdout)):
            if asdf.stdout[i] != stdout0[i]:
                # print only new stdout's without previous message and remove '\n' at the end
                print('kernel ' + str(i) + ': ' + asdf.stdout[i][len(stdout0[i]):-1])

                # set stdout0 to last output for new comparison
                stdout0 =  asdf.stdout
    else:
        continue


asdf.get()

输出将类似于：

kernel0: message 1 from kernel 0
kernel1: message 1 from kernel 1
kernel0: message 2 from kernel 0
kernel0: message 3 from kernel 0
kernel1: message 2 from kernel 0
...

来自IPython并行引擎的实时输出？

2 个答案: