为什么我无法在html源代码中找到评论源代码?

时间:2014-10-14 16:34:13

标签: html google-chrome scrapy scrape

我正在使用Google Chrome并试图抓取此网页上的所有评论。 http://www.nytimes.com/roomfordebate/2014/09/24/protecting-student-privacy-in-online-learning/student-data-collection-is-out-of-control 我知道源代码更可靠,因为它在不同的浏览器中是相同的,而inspect元素是由浏览器解释的结果。 我可以在chrome浏览器中使用inspect元素找到html,但我无法通过搜索源代码找到相同的信息,为什么?

1 个答案:

答案 0 :(得分:0)

网站上有动态元素。我注意到一些元素是通过循环,ajax等在页面加载时动态生成的......所以你无法查看文章的源代码。 在这里,您可以阅读有关动态页面的基本知识:http://en.wikipedia.org/wiki/Dynamic_web_page

简而言之,ajax将在没有表单提交的情况下从数据库加载内容,并且在for循环或while循环中生成的动态对象将不具有确切的源代码。您还可以阅读有关响应的内容 网页设计,其中网站根据屏幕大小而变化。 您可以阅读以下内容: - http://en.wikipedia.org/wiki/Responsive_web_design