无法弄清楚为什么我的Scrapy脚本不起作用

Question

import {returnStore} from '../../common/store/configureStore';
console.log("Store data rules ===>"+JSON.stringify(returnStore().getState().rules.data));

它只是抓取并抓取https://go.twitch.tv/directory但不会删除任何标题。

我是Python的新手，所以这个问题可能非常明显，但我无法理解。

Answer 1

正如@Shahin所提到的，页面是动态生成的，你无法解析它，没有像selenium或splash这样的东西。阅读this。

还有另一种方式：您可以对请求生成的内容进行一些搜索，从而为您提供所需的数据。

例如，当页面加载或当你到达底部时，https://gql.twitch.tv/gql会向某些数据发出请求，请查看下图：

这是请求将返回json目录游戏说明： 所以，我认为您只需要了解请求数据的构建方式和请求，而不是twitch.tv/directory，而是gql.twitch.tv/gql和json格式的解析响应。

如何使用正文提出请求here（有正文参数）