Question

我一直在使用Ray开发EC2并行云应用程序，用于设置集群和安排任务。但是，我有一个困扰我的问题。以下是一个非常简化的程序（在3个工作程序上运行），对其进行了说明：-

import numpy as np
import subprocess as sp
import boto3
import ray

redadd=sp.check_output("hostname -I",shell=True).decode("utf-8").rstrip()
ray.init(redis_address=redadd+":6379")
pop=np.ones((3,3))

@ray.remote
def test_loop(n):                                           
    return n*pop[n,:]

for i in range(0,2): 
    print("iteration ",i)
    print(pop)
    if __name__=='__main__':
        ans=ray.get([test_loop.remote(n) for n in range(0,3)])
    print("ans ",ans)
    pop=2*pop

ray.shutdown()

此输出为：-

2019-07-03 23:35:06,078 WARNING worker.py:1337 -- WARNING: Not updating   worker name since `setproctitle` is not installed. Install this with `pip install setproctitle` (or ray[debug]) to enable monitoring of worker processes.
iteration  0
[[1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]]
ans  [array([0., 0., 0.]), array([1., 1., 1.]), array([2., 2., 2.])]
iteration  1
[[2. 2. 2.]
 [2. 2. 2.]
 [2. 2. 2.]]
ans  [array([0., 0., 0.]), array([1., 1., 1.]), array([2., 2., 2.])]

忽略警告，困惑的是在test_loop的第一次迭代期间读取pop的值，并并行返回三个乘积向量。但是，在下一次迭代中，pop的值已加倍，test_loop会忽略它并保留旧值。谁能解释这是怎么回事，以及如何使远程函数调用按我的期望工作？

我不认为这是一个范围问题：pop是全局定义的，不会在test_loop中重新分配。

Answer 1

每个Ray“工人”在一个单独的进程中运行（与线程相对），因此，所有工人之间没有共享任何全局范围的变量。

当您定义test_loop远程函数时，该函数定义将被序列化并传送到每个工作进程（以及pop数组）。因此，每个工作进程（除了您的主脚本之外）都有自己的pop副本。在主脚本中修改pop时，这不会影响pop数组的其他副本。

如果您希望工作进程的状态在方法运行时发生突变，则可能需要使用Ray actors。

从Ray.remote并行Python 3函数返回值时出现问题

1 个答案: