所以我在AWS上有一个实例(m4.large,如果它很重要),以及一个通过网络爬行通过10K站点的节点JS脚本(特定的)。
在我简单的Macbook Pro上,需要约3分钟。但是,在AWS上,速度要慢得多,而且大多数请求都会丢失(超时),特别是在运行了几百个之后(我猜它是Node的一个错误?)。
无论如何,AWS是否存在网络限制?我无法获得超过14个并发连接。 以下是我发送这些请求的方式:
var request = http.request({
method: 'GET',
host: websiteDomain,
port: 80,
agent: agent,
path: '/'
}, function(response){
// some code...
});