我如何判断网站如何确定浏览器是否启用了JS？

Question

我们有一个Perl脚本，使用LWP::UserAgent模拟浏览器登录网站并下载一些数据。最近该网站已更改，因此您必须启用JavaScript才能登录。我们如何判断网站正在做什么来确定是否启用了JavaScript，和/或我们如何使用LWP::UserAgent来欺骗网站认为它是一个支持JavaScript的浏览器？

Answer 1

如果登录成功实际需要，大多数网站只需要启用javascript即可登录。他们可能会使用javascript来设置cookie或显示登录表单。也许登录是使用XMLHTTPRequest完成的。在大多数情况下，你将无法欺骗它;你真的需要一个支持javascript的浏览器。获取一个可嵌入版本的webkit或其他东西。

Answer 2

事实证明，我们看到的问题根本不在于Perl脚本......这是配置文件中的错误。

在研究这个问题时，有人提出了一个名为wsp Web Scraping Proxy的好工具。这是一个很好的建议，可以准确找出服务器和浏览器之间的情况。

感谢您抽出宝贵时间回答这个问题。