Question

我有一个非常简单的多处理脚本，我无法工作。

我需要做的是：

处理并迭代item_list
为每个已处理的项目运行计数器
根据计数器

这些过程相互冲突。我尝试过很多东西，比如使用lock（），然后通过map传递所有东西，但是我无法使它工作。

这是代码

from multiprocessing import Pool, Lock

counter = 0
msg_list = ["message1", "message2", "message3", "message4", "message5", "message6", "message7", "message8", "message9", "message10", "message11", "message12"]


def increment(item):

    global counter
    global msg_list

    print(counter, item, msg_list[counter])
    counter = counter + 1


if __name__ == '__main__':

    item_list = ["item1",
                 "item2",
                 "item3",
                 "item4",
                 "item5",
                 "item6",
                 "item7",
                 "item8",
                 "item9",
                 "item10",
                 "item11",
                 "item12"]

    p = Pool(4)
    p.map(increment, item_list)
    p.terminate()

输出应如何显示：

0 item1 message1
1 item2 message2
2 item3 message3
3 item4 message4
4 item5 message5
5 item6 message6
6 item7 message7
7 item8 message8
8 item9 message9
9 item10 message10
10 item11 message11
11 item12 message12

输出当前的外观

0 item1 message1
1 item2 message2
2 item3 message3
3 item4 message4
4 item6 message5
0 item5 message1
5 item7 message6
1 item8 message2
6 item9 message7
7 item10 message8
2 item11 message3
8 item12 message9

Answer 1

在Windows上，除非您设置共享内存，否则进程不会共享任何进程空间。并且共享内存对python来说很尴尬，因为任何共享数据仍然需要包装在python对象中。

创建池时，工作进程启动python的新实例，然后对父进程的状态进行pickle，发送给worker并进行unpickled。这可能是一项昂贵的操作。目标通常是与正在进行的cpu工作相比，保持进程间通信较低。

从你的笔记中我认为msg_list真的是从网页上刮下来的东西。这很好！以下是将抓取工作推向工作流程的大纲：

import multiprocessing as mp

if __name__ == "__main__":
    # imports not needed in worker
    import pandas as pd

def worker(url):
    import requests
    try:
        data = requests.get(url)
        interesting = do_your_scraping()
        return = format_for_pandas(interesting)
    except AnyExceptionsYouShouldCatch:
        return default_payload # whatever you want an error
                               # to look like
def main():
    import pandas
    with open("file_with_urls.txt") as urls_file:
        urls = [line.strip() for line in urls_file]
    with mp.Pool(4) as pool:
        df = pd.DataFrame(pool.map(worker, urls, chunksize=1)

由于大部分时间都花在等待远程Web服务器响应上，如果您确实需要工作者之间的通信，请考虑使用线程池。一次只能运行一个线程，但如果大多数线程被阻塞等待远程，那么它仍然运行良好。

还要考虑有像scrappy这样的网络抓取工具。您可能会发现它符合您的需求。

在多处理池中导入和操作对象的正确方法是什么？

1 个答案: