Scrapy：如何遍历基于AJAX的导航？

Question

我正在穿越this URL。在此javascript:ctrl.set_pageReload(1)函数中进行AJAX调用，然后加载页面数据。如何编写Rule(LinkExtractor().进行遍历或是否有其他方式？

Answer 1

什么是AJAX？它只是对使用GET或POST方法的链接的请求。

您可以在Inspect-Element视图中查看它。

点击你正在谈论的按钮，然后看看AJAX到底在哪里？

此外，不是通过Rule(LinkExtractor()抓取网址，而是删除start_urls和def parse()方法并执行此操作，

def start_requests(self):

       yield Request(url= URLE_HERE, callback=self.parse_detail_page)