如何在Scrapy中将显示从无变为阻止？

Question

我试图从下拉菜单中抓取数据（这是link）。在检查以获取xpath期间，我意识到显示器没有。那么是否有任何方法可以从该下拉菜单中获取数据（适合以下车辆），其显示设置为无。如果是/否，如何/为什么？

Answer 1

您要抓取的数据通过Ajax调用填充。所以，你需要找出Ajax调用的url。有一次，你得到了，你的工作很容易。

请按照以下步骤操作。

1. 打开Chrome
2. 打开链接
3. 打开开发人员控制台
4. 转到网络标签
5. 现在点击“适合以下车辆”
6. 在网络标签中，查看正在进行的通话

在您的情况下，这是一个即时发生的帖子请求。

这是电话的图片



因此，您需要找到请求期间传递的url和请求参数。

您可以看到请求参数如下：

1. catentryId：31426
2. techDocId：33503

现在你获得了网址和数据，只需几行代码即可。