标签： amazon-ec2 web-crawler wget
我正在通过https抓取网站X，我可以在浏览器中打开它，甚至可以从我的电脑中忘记但不能从ec2中忘记。
Connecting to X|IP|:443... connected. HTTP request sent, awaiting response.
当我在ec2上创建一个vpn并通过这个vpn连接我的电脑时，我能够在浏览器中打开网站，但无法从我的电脑中忘记。
我已经尝试了多个ec2实例，但同样的事情正在发生。
更新
是否可以检测Web请求是否来自wget或无头浏览器？