在python上使用多个IP地址的HTTP请求

时间:2014-09-26 04:10:50

标签: python python-requests python-multithreading httplib httplib2

我正在编写一个python脚本,它将使用python将http请求同时发送到文件中提到的url。该脚本适用于单个IP地址。我使用的操作系统是linux。我已经生成了像eth0:1,eth0:2等虚拟IP地址。我想同时使用这些虚拟IP地址和eth0 IP地址发送HTTP请求。我将请求模块用于http请求和线程模块用于并发请求。请帮助我。我正在尝试开发一个网络测试工具。

1 个答案:

答案 0 :(得分:0)

我认为你想避免" Crawl Delay"并在一台服务器上进行更快的抓取!

在这种情况下,远程Web服务器将仅识别来自一个IP的请求!!

我认为使用parallel + curl + python脚本更简单,更好。

或使用https://pypi.python.org/pypi/pyparallelcurl/0.0.4

或使用大量服务器。

并参考https://code.google.com/p/httplib2/issues/detail?id=91