如何运行多线程刮板

时间:2019-10-15 19:50:10

标签: python multithreading python-requests

我要刮板。

from threading import Thread
from scraper import Scraper

def start(i: int):
    s = Scraper("de",i,10)
    s.scrape()


d = dict()


for i in range(10):
    d[i] = Thread(target=start, args=(i,))

以上脚本仅执行一个刮板。我要运行10个刮板。 每个抓取工具都使用requests抓取目标网址列表的十分之一。 我究竟做错了什么?您需要什么信息?

1 个答案:

答案 0 :(得分:0)

from threading import Thread
from scraper import Scraper

def start(i: int):
    s = Scraper("de",i,10)
    s.scrape()
d = {i:Thread(target=start, args=(i,)) for i in range(10)}
[d[i].start() for i in range(10)]