C＃抓取工具无法加载动态内容

Question

我正在使用Abot库对网页进行爬网。搜寻器可以正确请求页面，但是问题在于几乎所有内容都是通过kickout.js动态加载的。搜寻器目前无法请求此内容，导致仅加载一小部分页面。

我已经尝试让程序等待，以期无论如何都希望发送动态请求，但这似乎行不通。

我希望加载整个页面，但只加载页面的底部。

如何使搜寻器请求所有数据？

谢谢！

Answer 1

简短答案：

用这种方法不可能，您需要像浏览器一样可以处理JS的东西。 我会推荐Scrapy提供的Splash（它可以通过REST API与任何语言集成）。

但是，以我的拙见，如果您不需要企业解决方案，请不要使用C＃进行网络爬网，例如，有最简单的解决方案和更完整的python库。