Crawler4j无法进行AJAX爬行

Question

我正在尝试从基于ajax的网站下载数据。但是crawler4j并不支持ajax爬行。我想使用crawler4j但具有此功能。我的项目基于crawler4j。我有任何方法可以分享链接和片段。

Answer 1

通过MadEgg检查this拉取请求 - 这可能会解决您的问题。您还可以参考项目页面上的the related issue，以强调在crawler4j框架内进行AJAX抓取的必要性。