我正在尝试创建一个机器人来购买多个网站上的东西,以节省我手动这样做的时间。我很难弄清楚我需要哪些python模块才能充分利用我的机器。从一个网站购买商品的过程独立于另一个网站。
如果您发现错误或添加改进,请更正我的假设!
我的机器包含8个核心,理论上我可以使用multiprocessing
并行运行8个任务(避免GIL
)。假设我也有800个代理(防止禁止),我希望将它们均匀地分配到每个进程。在每个进程中,我可以使用asyncio/aiohttp
向网站异步执行100个POST请求以尝试购买产品。
结果:
8并行处理 - >每个都有100个异步运行的请求。
我想知道是否有更好的方法可以解决这个问题,或者我的方法是否存在任何缺陷。