如何使用beautifulsoup在超薄滚动窗口中获取数据

Question

最近我遇到了一个尝试从网站的精简滚动窗口中获取数据的问题。我可以在Chrome Inspect元素中看到所有标签及其类/ ID /类型没有问题。

网页为https://chart.cryptocoinsnews.com/bitfinex_frame.html 我正在看的表是

从汤，我仍然可以访问父{div class="panel-body table-pannel-body"}，但不能访问包含我感兴趣的表格的{div class = "slimScrollDiv" style=........}标签。

令我感到困惑的是，为什么我可以在Chrome上看到它们但却无法通过汤取出。感谢是否有人可以提供帮助。非常感谢！

Answer 1

由于它的动态特性，表格是从javascript创建/更新的。

您可能只在使用javascript动态构建DOM之前下载HTML。因此，您需要使用浏览器，例如使用selenium，查看与Chrome相同的DOM。

请注意，selenium可以使用无头浏览器，例如PhantomJS。