如何刮刀或履带动态值？

Question

我有一些问题，我试图刮一些像图像下的数据。

这个网站不断变化。它似乎不断获得动态数据。

当然，您可以在一定时间内完成此操作（例如，每5秒获取一次数据）

我认为浪费了很多资源。

我们使用chrome的开发人员工具来查看网络，但它没有改变。

但是，数据仍在更新中。

在这种情况下，有没有办法以几秒的间隔检查数据？

我不能继续像观察者模式那样观察那部分吗？

Answer 1

本网站使用websockets ...

如果您在Chrome中的网络标签下过滤了WS，则可以检查websocket流量。然后选择要检查的套接字连接并检查框架。

所有这一切，PhantomJS对此有着古怪的支持，所以我猜你最好还是在某个时间间隔内抓取数据......