我无法获得网页的完整HTML源代码

Question

我想使用crawler和Ruby对Nokogiri计划进行编码。 我的目标网站网址为apk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=3

它的搜索网址是http://apk.hiapk.com/searchpid=0&key=%E5%8A%A9%E6%89%8B&pi=3。

当我尝试这段代码时：

url = URI.encode("http://apk.hiapk.com/search?pid=0&key=#{key}&pi=#{page}" )

content = client.get_content(url)

html_doc = Nokogiri::HTML(content)

我将获得此页面的HTML，但HTML不是完整的来源，它缺少一些HTML元素。

当我使用Firefox并访问此URL时，我可以获得完整的HTML源代码。我想知道发生了什么，为什么。本网站使用了哪些技术？

Answer 1

当我使用

时

Nokogiri::HTML(open("http://apk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=10"))

它很成功，我得到了完整的HTML源代码。

所以现在我知道原因是什么。