我想使用scrapy(以及其他数据)从nasdaq网站上刮取股票期权链
纳斯达克最近更新了他们的网站。 Here是我正在谈论的网址。
数据未装入普通Spider且在刮擦的外壳中。从scrapy文档中,我需要使用scrapy-splash或scrapy-Selenium。
在投入时间之前,我想知道哪一种是最合适的工具。还是有其他建议?
谢谢!
答案 0 :(得分:1)
对于该任务,您不需要硒或飞溅。相反,您可以检查Chrome开发者工具中的“网络”标签。
该网站提出了其他请求,要求从以下端点获取数据: https://api.nasdaq.com/api/quote/MSFT/option-chain?assetclass=stocks&limit=0
欢呼