具有多个ip地址的ruby scrapp

时间:2016-06-18 23:52:32

标签: ruby multithreading web-scraping ip


我想知道Ruby程序是否有可能拥有多个IP地址?我试图从一个站点下载大量数据,但一次只有一个连接速度非常慢 我打算使用自己的IP地址为每个线程多线程化我的程序,但我不知道是否有可能在第一时间,任何帮助或提示将不胜感激。

1 个答案:

答案 0 :(得分:1)

机器或程序绝对可以拥有多个IP地址。您甚至可以拥有多个网络适配器,并将每个适配器绑定到不同的物理连接。

但是,它可能会变得非常毛茸茸。对此的挑战部分在于代码,部分在于系统维护,部分在于实现这一目标所需的网络。

您可以采用的更好方法是设计程序,使其可以分布式运行。因此,您可以同步多个副本并同时进行工作。然后,您可以根据需要水平扩展(构建更多副本),并在需要时通过不同的计算机和连接进行扩展。

编辑:您提到您无法水平扩展,并且您更喜欢使用同一台计算机上的多个连接。

为此,您可能需要在网络堆栈中降低一点,通过套接字开发自己的连接以便使用特定的网络接口。

查看an introduction to Ruby sockets

另外,请查看以下相关问题: