结果与我在Web浏览器中看到的结果不同

时间:2018-08-15 19:46:15

标签: python selenium parsing beautifulsoup

在解析Bitmex网站时,我注意到使用bs4进行解析的结果与我在Web浏览器中实际看到的略有不同。当我使用Devtools并不断刷新时,我意识到花了一段时间才打开了我们正在查看的窗口,而BS4立即获取了html,并且在两个结果之间似乎有所不同。

网站网址为“ https://www.bitmex.com/app/trade/XBTUSD

您只需查看标签<title>...</title>就能看到区别。

当我使用bs4时,它们会给我结果

<title>BitMEX | Bitcoin Mercantile Exchange</title>

但是当我在Chrome中看到它们时,它们会给我结果

<title>▼ 6486.0 (XBTUSD) 거래 - BitMEX</title>

像这样

如何将在Chorme上看到的相同代码带入Python?

当然,使用硒,我可以将它们带入Python ....但是我不知道没有办法使用bs4来带它们。

我的编程知识及其能力不好,问题似乎很奇怪。如果您不明白我的问题,不胜感激,如果您能再次问我。

感谢您阅读。

1 个答案:

答案 0 :(得分:0)

同样,有一些JavaScript代码可以更改标题。

}, function(e) {
    var t = e || "";
    t !== document.title && (document.title = t)
})(h)

这是该页面中javascript更改标题的部分。

由于BeautifulSoup无法运行javascript,因此标题BeautifulSoup中不会发生变化-它会保留html源代码中的起始标题。浏览器将执行javascript,并在以后进行动态更改。