Scrapy-CSS选择器问题

Question

我想从href元素获得位于a属性中的链接。网址为：https://www.drivy.com/location-voiture/antwerpen/bmw-serie-1-477429?address=Gare+d%27Anvers-Central&city_display_name=&country_scope=BE&distance=200&end_date=2019-05-20&end_time=18%3A30&latitude=51.2162&longitude=4.4209&start_date=2019-05-20&start_time=06%3A00

我正在搜索此元素的href：

<a class="car_owner_section" href="/users/2643273" rel="nofollow"></a>

当我在终端中输入response.css('a.car_owner_section::attr(href)').get()时，我什至什么都没有，但是即使我检查view(response)时元素也存在。

有人对此事有任何线索吗？

Answer 1

该网站似乎可以在JavaScript上加载，使用启动功能非常完美。

代码如下：

sudo docker run -p 8050:8050 scrapinghub/splash

要使用启动安装飞溅，刮擦启动并运行enum Color{ Red, Green } // To String var green: string = Color[Color.Green]; // To Enum / number var color : Color = Color[green as keyof typeof Color]; //Works with --noImplicitAny 在运行蜘蛛之前。这是有关安装和运行启动程序的精彩文章。 article on scrapy spash ...，还将中间件添加到settings.py（也在本文中） 结果如上