使用Scrapy响应，虽然Google Chrome Inspect Element显示它确实存在，但XPath元素并不存在

Question

我遇到的问题是，根据Scrapy响应，我尝试使用其XPath选择的元素不存在。但是，当我在Google Chrome上检查同一页面时，该元素已存在。

在使用LinkedIn高级搜索并进入结果页面后，LinkedIn问题正在发生。我想在结果容器中刮取链接。

例如：在搜索＆＃34; John的结果页面上，＆＃34;应该有一个div元素，id =＆＃34; results-container＆＃34;根据Google Chrome上的Inspect Element。当我使用Scrapy response.xpath（＆＃39; // div [@id =＆＃34; results-container]＆＃39;）时，没有返回选择器。

结果页的网址：https://www.linkedin.com/vsearch/p?firstName=John&openAdvancedForm=true&locationType=Y&rsid=4319659841436374935558&orig=ADVS

Answer 1

您是否尝试查找在浏览器的私人会话窗口中提供的网址（有时称为隐身模式）？

如果您这样做，您会看到您收到LinkedIn的注册表。

正如alecxe在他的评论中建议尝试使用LinkedIn API（它是REST），您可以获得XML响应，您可以解析它以收集所需的信息。

或者，您可以尝试使用Scrapy登录并存储身份验证凭据并重复您的请求（但我仍会使用API​​）。