使用python多处理处理大型文本文件

Question

http://www.ngcrawford.com/2012/03/29/python-multiprocessing-large-files/ 我想使用多处理创建一个大文本文件的字典，我发现了这个。但是我对这个代码中作者使用的参数有一些疑问：

p = multiprocessing.Pool(4)

Pool的参数是什么？换句话说，“4”是什么意思？

for chunk in grouper(10, test_data):

“10”是什么意思

Answer 1

Pool(4)表示您启动了一个包含四个工作进程的池。

grouper的参数在该网页的函数定义中进行了解释：

def grouper(n, iterable, padvalue=None):
    """grouper(3, 'abcdefg', 'x') -->
    ('a','b','c'), ('d','e','f'), ('g','x','x')"""

    return izip_longest(*[iter(iterable)]*n, fillvalue=padvalue)

输出列表将包含每个n元素的块。