我有10个网络抓取工具和一个预处理脚本(比如每个WS和PS)。 我想做的是以下几点:
1)有一个控制所有内容的主脚本,称为' Mother.py'
2)' Mother.py'运行2个主要任务; [同时运行10个网络爬虫] / [解析已爬网数据]
问题是我希望我的脚本等待,直到10个网络抓取工具完成他们的工作,然后执行解析脚本等等。
所以伪结构就像:
def Mother():
run Crawler()
#wait untile Crawler is finished.
run Parser()
我搜索了几种方法,例如“子流程”和#39;或者'线程', 但我发现很难理解和实施我的编码。
这个问题可以通过“子进程”来解决。或任何其他更简单的方式?