我正试图从这个网站抓取数据:https://www.icostats.com。问题是看起来数据是用JS生成的。
我正在使用ScrapyJS从列中获取数据(例如'Change(%)')并将其导出到json文件。到目前为止,我无法获得除BaseException
以外的任何内容作为输出。我搞砸了或者这不可行吗?
我的代码:
[{"text": null}]
抓取命令:import scrapy
class ICOSpider(scrapy.Spider):
name = "icoo"
allowed_domains = ["icostats.com"]
start_urls = [
'https://icostats.com',
]
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, self.parse, meta={
'splash': {
'endpoint': 'render.html',
'args': {'wait': 0.5}
}
})
def parse(self, response):
for ico in response.css('div#app'):
yield {
'text': ico.css('div.data-reactroot container-0-16 table-0-20 tableheader-0-50 tr-0-68 td-0-69 tdName-0-73::text').extract_first(),
}