使用scrapy抓取动态数据

时间:2019-08-20 12:39:00

标签: python selenium web-scraping scrapy scrapy-splash

我想使用scrapy(以及其他数据)从nasdaq网站上刮取股票期权链

纳斯达克最近更新了他们的网站。 Here是我正在谈论的网址。

数据未装入普通Spider且在刮擦的外壳中。从scrapy文档中,我需要使用scrapy-splash或scrapy-Selenium。

在投入时间之前,我想知道哪一种是最合适的工具。还是有其他建议?

谢谢!

1 个答案:

答案 0 :(得分:1)

对于该任务,您不需要硒或飞溅。相反,您可以检查Chrome开发者工具中的“网络”标签。

该网站提出了其他请求,要求从以下端点获取数据: https://api.nasdaq.com/api/quote/MSFT/option-chain?assetclass=stocks&limit=0

欢呼