哪个IP地址将转到目标网站?

时间:2018-01-21 08:19:56

标签: python web-scraping

我正在创建一个Web应用程序,根据用户搜索的内容从其他一些网站上删除数据。

我打算在Hostgator或Namecheap等托管网站上托管此应用程序。

目前,该应用程序共包含2页。一个是menu-second--active,另一个是index.html

tool.py通过表单输入并将其发布到index.html

tool.py负责网页抓取。我有两个问题:

1)让我们说2位用户来到我的网站并同时搜索。哪些IP将被转移到这些网站?是用户自己的IP还是脚本IP将去(在这种情况下tool.py所在的位置让我们假设Namecheap服务器是ip)。

2)如果100个用户同时搜索,tool.py脚本将如何反应?有没有更好的方法来防止单个脚本的过度负载?也许随机分发和挑选脚本(例如:tool1.py,tool2.py,tool3.py等)

1 个答案:

答案 0 :(得分:0)

好的,按顺序回答你的问题。

  1. 正如@GalAbra上面提到的,它取决于工具的设计。但是,从它的声音来看,如果isBST :: Tree -> Bool isBST = isBST' Nothing Nothing 强制浏览器将数据发布到isBST',则index.html所在的IP将是请求该页面的IP。

  2. 理想的方法是在工具中内置排队系统。您可以让客户端将他们的请求添加到队列中(可能在数据库中),然后让tool.py监视队列以获取新条目,然后让它请求。可能在队列中有多个新请求的情况下使用线程,具体取决于您认为此工具将看到多少活动。

  3. 希望这有帮助