我正在尝试废弃https://arabic.cnn.com/sport
。它具有无限滚动。当我尝试取消链接
scrapy shell https://arabic.cnn.com/graphqlqueryId=c619e745d8b76a562f7539e71ed926def50910cd:SectionLoadMore&variables=%7B%22id%22%3A1%2C%22offset%22%3A0%2C%22limit%22%3A5%7D
它基本上会忽略参数&variables=%7B%22id%22%3A1%2C%22offset%22%3A0%2C%22limit%22%3A5%7D
这就是我得到的
[s] request <GET https://arabic.cnn.com/graphqlqueryId=c619e745d8b76a562f7539e71ed926def50910cd:ectionLoadMore>
[s] response <200 https://arabic.cnn.com/graphql queryId=c619e745d8b76a562f7539e71ed926def50910cd:SectionLoadMore>
所以当我写response.text
时,我得到的是{"data":{"list":null}}
的半链接的结果
无论如何,我是否可以在链接本身中发送参数,以便我可以删除我感兴趣的数据?