Question

有关更多设置，请参阅this question。我想并行创建许多类Toy的实例。然后我想将它们写入xml树。

import itertools
import pandas as pd
import lxml.etree as et
import numpy as np
import sys
import multiprocessing as mp


def make_toys(df):
    l = []
    for index, row in df.iterrows():
        toys = [Toy(row) for _ in range(row['number'])]
        l += [x for x in toys if x is not None]
    return l


class Toy(object):
    def __new__(cls, *args, **kwargs):
        if np.random.uniform() <= 1:
            return super(Toy, cls).__new__(cls, *args, **kwargs)

    def __init__(self, row):
        self.id = None
        self.type = row['type']

    def set_id(self, x):
        self.id = x

    def write(self, tree):
        et.SubElement(tree, "toy", attrib={'id': str(self.id), 'type': self.type})


if __name__ == "__main__":
    table = pd.DataFrame({
        'type': ['a', 'b', 'c', 'd'],
        'number': [5, 4, 3, 10]})

    n_cores = 2
    split_df = np.array_split(table, n_cores)

    p = mp.Pool(n_cores)
    pool_results = p.map(make_toys, split_df)
    p.close()
    p.join()
    l = [a for L in pool_results for a in L]

    box = et.Element("box")
    box_file = et.ElementTree(box)

    for i, toy in itertools.izip(range(len(l)), l):
        Toy.set_id(toy, i)

    [Toy.write(x, box) for x in l]

    box_file.write(sys.stdout, pretty_print=True)

此代码运行良好。但我重新定义了__new__方法，只是随机实例化一个类。因此，如果我设置if np.random.uniform() < 0.5，我想创建一半的实例，就像我要求的那样，随机确定。这样做会返回以下错误：

Exception in thread Thread-3:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.7/threading.py", line 763, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 380, in _handle_results
    task = get()
AttributeError: 'NoneType' object has no attribute '__dict__'

我不知道这甚至意味着什么，或者如何避免它。如果我像l = make_toys(table)那样整体地执行这个过程，那么它可以随机运行。

另一种解决方案

顺便说一句，我知道这可以通过单独__new__方法而不是重写make_toys()来解决

def make_toys(df):
    l = []
    for index, row in df.iterrows():
        prob = np.random.binomial(row['number'], 0.1)
        toys = [Toy(row) for _ in range(prob)]
        l += [x for x in toys if x is not None]
    return l

但我试图了解错误。

Answer 1

我认为你已经发现了一个令人惊讶的＆＃34;陷阱＆＃34;由Toy引起实例在通过多处理池时变为None 结果Queue。

multiprocessing.Pool使用Queue.Queue将子进程的结果传递回主进程。

Per the docs：

当一个对象被放入队列时，该对象被腌制并具有背景线程稍后将pickle数据刷新到底层管道。

虽然实际的序列化可能在精神上有所不同腌制Toy实例成为一个字节流，如下所示：

In [30]: import pickle

In [31]: pickle.dumps(Toy(table.iloc[0]))
Out[31]: "ccopy_reg\n_reconstructor\np0\n(c__main__\nToy\np1\nc__builtin__\nobject\np2\nNtp3\nRp4\n(dp5\nS'type'\np6\nS'a'\np7\nsS'id'\np8\nNsb."

请注意，对象的模块和类在流中提到 bytes：__main__\nToy。

该类本身未被腌制。只有对该类名称的引用。

当在管道的另一侧取消分配字节流时， Toy.__new__被称为以实例化Toy的新实例。然后使用来自字节流的未标记数据重构新对象__dict__。当新对象为None时，它没有__dict__属性，因此引发了AttributeError。

因此，当Toy实例通过Queue传递时，另一方可能会变为None。

我相信这就是使用

的原因

class Toy(object):
    def __new__(cls, *args, **kwargs):
        x = np.random.uniform() <= 0.5
        if x:
            return super(Toy, cls).__new__(cls, *args, **kwargs)
        logger.info('Returning None')

导致

AttributeError: 'NoneType' object has no attribute '__dict__'

如果您向脚本添加日志记录，

import itertools
import pandas as pd
import lxml.etree as et
import numpy as np
import sys
import multiprocessing as mp
import logging
logger = mp.log_to_stderr(logging.INFO)

def make_toys(df):
    result = []
    for index, row in df.iterrows():
        toys = [Toy(row) for _ in range(row['number'])]
        result += [x for x in toys if x is not None]
    return result


class Toy(object):
    def __new__(cls, *args, **kwargs):
        x = np.random.uniform() <= 0.97
        if x:
            return super(Toy, cls).__new__(cls, *args, **kwargs)
        logger.info('Returning None')

    def __init__(self, row):
        self.id = None
        self.type = row['type']

    def set_id(self, x):
        self.id = x

    def write(self, tree):
        et.SubElement(tree, "toy", attrib={'id': str(self.id), 'type': self.type})


if __name__ == "__main__":
    table = pd.DataFrame({
        'type': ['a', 'b', 'c', 'd'],
        'number': [5, 4, 3, 10]})

    n_cores = 2
    split_df = np.array_split(table, n_cores)

    p = mp.Pool(n_cores)
    pool_results = p.map(make_toys, split_df)
    p.close()
    p.join()
    l = [a for L in pool_results for a in L]

    box = et.Element("box")
    box_file = et.ElementTree(box)

    for i, toy in itertools.izip(range(len(l)), l):
        toy.set_id(i)

    for x in l:
        x.write(box)

    box_file.write(sys.stdout, pretty_print=True)

你会发现只有AttributeError 在表单

的日志消息之后发生

[INFO/MainProcess] Returning None

请注意，日志消息来自MainProcess，而不是其中之一 PoolWorker进程。由于Returning None消息来自 Toy.__new__，这表明主要流程调用了Toy.__new__。这证实了unpickling正在呼唤的说法 Toy.__new__并将Toy的实例转换为None。

故事的寓意是，要使Toy个实例通过多处理池的队列传递，Toy.__new__必须始终返回一个实例 Toy。正如您所指出的，可以通过在make_toys中仅实例化所需数量的玩具来修复代码：

def make_toys(df):
    result = []
    for index, row in df.iterrows():
        prob = np.random.binomial(row['number'], 0.1)
        result.extend([Toy(row) for _ in range(prob)])
    return result

顺便说一句，使用Toy.write(x, box)调用实例方法是非标准的当x是Toy的实例时。首选方法是使用

x.write(box)

相似，请使用toy.set_id(i)代替Toy.set_id(toy, i)。

并行和条件：NoneType对象没有属性＆＃39; dict ＆＃39;

另一种解决方案

1 个答案:

并行和条件：NoneType对象没有属性＆＃39; __ dict __＆＃39;

另一种解决方案

1 个答案:

并行和条件：NoneType对象没有属性＆＃39; dict ＆＃39;