在python多处理中未正确共享共享数组

时间:2012-08-07 14:39:52

标签: python multiprocessing

我正在用Python试验多处理,并试图在两个进程之间共享一个字符串数组。这是我的python代码:

from multiprocessing import Process, Array, Value
import ctypes

def f1(a, v):
    for i, l in enumerate(['a', 'b', 'c']):
        a[i] = l*3

    v.value += 1

    print "f1 : ", a[:], v.value

def f2(a,v):

    v.value += 1

    print "f2 : ", a[:], v.value

if __name__ == '__main__':
    val = Value(ctypes.c_int, 0)
    arr = Array(ctypes.c_char_p, 3)

    print "Before :", arr[:], val.value

    p = Process(target=f1, args=(arr, val))
    p2 = Process(target=f2, args=(arr, val))

    p.start()
    p2.start()

    p.join()
    p2.join()

    print "After : ", arr[:], val.value

当我运行该脚本时,我发现arr已正确填充并在f1()中可用,但不在f2()中。结果如下:

    % python /tmp/tests.py
    Before : [None, None, None] 0
    f1 :  ['aaa', 'bbb', 'ccc'] 1
    f2 :  ['\x01', '\x11', '\x01'] 2
    After :  ['\x01', '\x01', '\x01'] 2

我忽略了什么吗?

提前感谢您的反馈。 :)

2 个答案:

答案 0 :(得分:3)

我的猜测是:

  

arr存储3个指针。 f1()将它们分配给没有的内存地址   当前流程的意义。 f2()尝试访问   在这一点上包含垃圾的毫无意义的地址。

分配在所有进程中具有意义的值似乎有所帮助:

from __future__ import print_function
import ctypes
import time
from multiprocessing import Process, Array, Value

values = [(s*4).encode('ascii') for s in 'abc']

def f1(a, v):
    for i, s in enumerate(values):
        a[i] = s

    v.value += 1

    print("f1 : ", a[:], v.value)

def f2(a,v):
    v.value += 1
    print("f2 : ", a[:], v.value)

def main():
    val = Value(ctypes.c_int, 0)
    arr = Array(ctypes.c_char_p, 3)

    print("Before :", arr[:], val.value)

    p = Process(target=f1, args=(arr, val))
    p2 = Process(target=f2, args=(arr, val))

    p.start()
    p2.start()

    p.join()
    p2.join()

    print("After : ", arr[:], val.value)

if __name__ == '__main__':
    main()

输出

Before : [None, None, None] 0
f1 :  ['aaaa', 'bbbb', 'cccc'] 1
f2 :  ['aaaa', 'bbbb', 'cccc'] 2
After :  ['aaaa', 'bbbb', 'cccc'] 2

答案 1 :(得分:0)

我没有解决方案,但我可以添加更多提示。 我已经删除了脚本以查明问题。我认为问题出在l * 3操作中。我不知道为什么,但移动l * 3中的enumerator操作按预期工作:

from multiprocessing import Process, Array                                   
import ctypes                                                                


def f1(a):                                                                   
#    for i, l in enumerate(['a', 'b', 'c']):                                 
#        a[i] = (l * 3)                                                      
    for i, l in enumerate(['a' * 3, 'b' * 3, 'c' * 3]):                      
        a[i] = l                                                             

    print "f1 : ", map(id, a), a[:]                                          


if __name__ == '__main__':                                                   
    arr = Array(ctypes.c_char_p, 3)                                          

    print "Before :", map(id, arr), arr[:]                                   
    p = Process(target=f1, args=(arr, ))                                     
    p.start()                                                                
    p.join()                                                                 
    print "After : ", map(id, arr), arr[:]                                   

结果:

Before : [3077673516L, 3077673516L, 3077673516L] [None, None, None]
f1 :  [3073497784L, 3073497784L, 3073497784L] ['aaa', 'bbb', 'ccc']
After :  [3073497784L, 3073497784L, 3073497784L] ['aaa', 'bbb', 'ccc']