像Node.JS中的浏览器一样获取Google搜索页面

Question

我正在为Google广告编写解析器，我需要将顶部和底部分开。 当我得到一个包含Node.JS请求模块的页面时，我得到了带有（'.ads-ad'）选择器的所有广告。我通过浏览器得到的相同。 但是在浏览器中我可以看到父ID为'taw'的父DIV元素（对于顶级广告）和父ID为'bottomads'的父DIV元素（对于底部广告）。但我没有看到这些DIV元素的请求。 是否存在像浏览器一样获取Google页面的简单方法？

提前谢谢！

Answer 1

尝试JSDom或Casper JS。这些是无头浏览器，可以在页面上呈现页面并运行任何javascript，这样可以确保最终内容与浏览器中的内容相同。