Python中的并行处理问题

Question

我有一个python脚本A.py，它接受​​带有一些list of IPs的目标文件的参数，并输出一个CSV文件，其中包含有关来自某些来源的IP的信息。{{1 }}。

完成工作需要很长时间。后来，我拆分输入文件( Run Method : python A.py Input.txt -c Output.csv ) - ＆gt;创建目录（( split -l 1000 Input.txt)） - ＆gt;使用在10 directories模式

中并行分成10个目录的输入执行脚本

如何有效地完成这类工作？有什么建议吗？

Answer 1

试试这个：

A.py

如果parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv 可以从fifo读取，则效率更高：

--pipe

如果您的磁盘搜索时间较长，那么使用--pipepart代替awk可能会更快。