拼凑并不能完全消除它

时间:2019-02-04 17:30:26

标签: python json scrapy

我正在尝试废弃https://arabic.cnn.com/sport。它具有无限滚动。当我尝试取消链接

scrapy shell https://arabic.cnn.com/graphqlqueryId=c619e745d8b76a562f7539e71ed926def50910cd:SectionLoadMore&variables=%7B%22id%22%3A1%2C%22offset%22%3A0%2C%22limit%22%3A5%7D

它基本上会忽略参数&variables=%7B%22id%22%3A1%2C%22offset%22%3A0%2C%22limit%22%3A5%7D

这就是我得到的

[s] request <GET https://arabic.cnn.com/graphqlqueryId=c619e745d8b76a562f7539e71ed926def50910cd:ectionLoadMore> [s] response <200 https://arabic.cnn.com/graphql queryId=c619e745d8b76a562f7539e71ed926def50910cd:SectionLoadMore>

所以当我写response.text时,我得到的是{"data":{"list":null}}的半链接的结果

无论如何,我是否可以在链接本身中发送参数,以便我可以删除我感兴趣的数据?

0 个答案:

没有答案