可以在Ruby中使用typhoeus而不是HTML下载完整的网页吗？

Question

我使用ruby使用typhoeus下载完整的网页，但它只下载HTML，

   request = Typhoeus::Request.new(
             "www.example.com",
             method: :get,
             headers: { Accept: "text/html" }
    )

response.body只返回HTML，我可以添加任何格式来下载完整的网页及其通过javascript加载的数据吗？或者还有其他方法来获取数据吗？

Answer 1

这不能在单个请求中完成。您需要解析html以找到所需的所有图像并下载它们

根据您对此的处理方式，您可能需要对页面上的其他资源执行相同操作（例如css）