Scrapy-Javascript渲染

Question

我想从这里获取一些数据：

https://www.drivy.com/location-voiture/liege/mitsubishi-colt-359699?address=Gare+de+Li%C3%A8ge-Guillemins&city_display_name=&country_scope=BE&distance=200&end_date=2019-05-27&end_time=06%3A00&latitude=50.6251&longitude=5.5659&start_date=2019-05-26&start_time=06%3A00

我正在搜索车主的ID。该ID位于类a的{​​{1}}属性中。对于上面的页面，它是car_owner_section属性中的数字，例如“ / users / 1228276”。问题是此链接显然是由javascript呈现的，我绝对希望避免刮擦。有谁知道如何找到此ID？我猜它应该在JSON上的某个位置，但是我已经搜索了几天，却一无所获。

Answer 1

我在scrapy shell上对其进行了测试，并且响应返回了您正在寻找的链接，而没有使用启动。您可能要检查您的设置。

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False