Python：使用js抓取网页

Question

我正在尝试使用selenium来刮取LinkedIn。 这是一个页面例如： https://www.linkedin.com/vsearch/p?firstName=mark

我可以在html中看到搜索结果位于：

<div id='results-col'> ... </div>

但是当我尝试使用Beautifulsoup访问此标记时：

browser = webdriver.PhantomJS(executable_path=PATH)
browser.get(url)
bs_obj = BeautifulSoup(browser.page_source, "html.parser")
results_col =  bs_obj.find("div", {"id": "results-col"})

我什么都没得到（results_col = None）。 我做错了什么？

Answer 1

Wait for the desired element出现，然后获取页面来源：

AFRAME.registerComponent('rotation-updater', {
  tick: function () {
    var sphere = this.el;
    var camera = this.el.sceneEl.cameraEl;

    var cameraRotation = camera.getAttribute('rotation');
    // var sphereRotation = DO SOMETHING WITH CAMERA ROTATION.
    sphere.setAttribute('rotation', sphereRotation);
  }
});