获取网页来源

Question

我正在尝试获取网页来源。 我用过：

 $ curl --user name:password www.example.com

但是这给了我登录页面的页面源。我希望在登录后获取页面源。

我也尝试过但没有成功。

我不能使用nokogiri和其他红宝石等等。

有什么方法可以从命令行使用firefox来获取页面源代码，还是有其他方法可以获取页面源代码？

由于

Answer 1

  

有什么方法可以从命令行使用firefox来获取页面源...

您可以通过Selenium WebDriver编写Firefox（以及其他浏览器）脚本。对于Ruby绑定，请参阅RubyBindings。

---

编辑：你说你不能使用“其他Ruby宝石”，所以我猜Selenium Web Driver不是一个选项。还有Selenium IDE，这是你可以使用的Firefox扩展，基本上记录了你自己登录的宏。然后你可以从命令行调用测试。这可能会有所帮助，也可能没有帮助，具体取决于您正在尝试做什么。

---

或者，您可以使用sending a POST request使用您需要的值使用cURL登录。如果您需要获取除请求后返回的第一页之外的任何内容，则需要使用--cookie-jar选项保存会话以用于后续请求。