使用Scrapy从Web应用程序中搜集dinamic数据

时间:2017-06-28 12:01:31

标签: javascript python web-scraping scrapy

我正试图从这个网站抓取数据:https://www.icostats.com。问题是看起来数据是用JS生成的。

我正在使用ScrapyJS从列中获取数据(例如'Change(%)')并将其导出到json文件。到目前为止,我无法获得除BaseException以外的任何内容作为输出。我搞砸了或者这不可行吗?

我的代码:

[{"text": null}]

抓取命令:import scrapy class ICOSpider(scrapy.Spider): name = "icoo" allowed_domains = ["icostats.com"] start_urls = [ 'https://icostats.com', ] def start_requests(self): for url in self.start_urls: yield scrapy.Request(url, self.parse, meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } }) def parse(self, response): for ico in response.css('div#app'): yield { 'text': ico.css('div.data-reactroot container-0-16 table-0-20 tableheader-0-50 tr-0-68 td-0-69 tdName-0-73::text').extract_first(), }

0 个答案:

没有答案