我正在尝试从此页面https://hipages.com.au/find/electricians/wa/perth抓取数据，但是有一个“查看更多”按钮。而且我不知道用于更多数据的url。
我检查了页面，打开了“网络”选项卡，但是我找不到用Scrapy抓取所有数据的好方法。
我知道我可以使用Selenium，但是有超过20万个url，因此我不能使用Selenium，因为要花费数周才能获取所有数据。
答案 0 :(得分：2)
该网站使用API，因此您可以使用它。 例如：https://hipages.com.au/api/directory/sites?suburb=perth&state=wa&category=8&page=1&perpage=10&code=111d887415230e233b23fdaae8e160d62715d99d7c417a33c1ca27c0b47b3a6ce810db7af2cec77fe5a629d12ad9cc68
然后您可以操纵url的查询参数，然后通过Scrapy获取数据。