网站是否有可能在刮痧时将部分从美丽的汤中隐藏起来？

Question

我在尝试使用python包美丽的汤刮网站时遇到了问题。不知怎的，我得到的一切都来自于我感兴趣的部分。我正试图从这个网站https://www.bitfinex.com/中搜集实时数据。

我真的让所有部分都对实时数据有所了解，我认为它以某种方式连接到与数据相同的容器内的脚本块。 Firefox和Chrome可以检查这部分容易但美丽的汤不知何故得不到它。

我很感激你的每一个建议！

Answer 1

要回答您的问题，是的，网站可能会阻止或删除任何其怀疑是机器人或其认为合适的任何类型连接的内容。 如果您还没有设置用户代理，请尝试使用。 如果不知道你已经尝试过什么，就很难就如何继续提供建议。

Answer 2

为什么不使用API？

许多网站都会检测并阻止正在抓取数据的蜘蛛。此外，每次更新用户界面时，您的刮刀都会中断。

在页面加载后，BitFinex上的实时数据可能由Javascript over AJAX填充。