使用LazyLoader和Python BeautifulSoup对页面进行爬网

Question

我正在玩BeautifulSoup并且到目前为止我喜欢它。

问题是我想要废弃的网站有一个懒人加载器......它只会丢弃网站的一部分。

我可以提示如何继续吗？我必须看看lazyloader是如何实现的，并参考其他任何东西吗？

Answer 1

事实证明问题本身不是BeautifulSoup，而是页面本身的动态。对于这种特定情况。

页面返回页面的一部分，因此需要分析标题并相应地将其发送到服务器。这不是一个BeautifulSoup问题本身。

因此，重要的是要了解如何在特定站点上加载数据。它并不总是“加载整个页面，处理整个页面”范例。在某些情况下，您需要加载页面的一部分并将特定参数发送到服务器，以便继续加载页面的其余部分。