我正在编写一个python脚本,它将使用python将http请求同时发送到文件中提到的url。该脚本适用于单个IP地址。我使用的操作系统是linux。我已经生成了像eth0:1,eth0:2等虚拟IP地址。我想同时使用这些虚拟IP地址和eth0 IP地址发送HTTP请求。我将请求模块用于http请求和线程模块用于并发请求。请帮助我。我正在尝试开发一个网络测试工具。
答案 0 :(得分:0)
我认为你想避免" Crawl Delay"并在一台服务器上进行更快的抓取!
在这种情况下,远程Web服务器将仅识别来自一个IP的请求!!
我认为使用parallel + curl + python脚本更简单,更好。
或使用https://pypi.python.org/pypi/pyparallelcurl/0.0.4
或使用大量服务器。