使用scrapy进行动态数据提取

时间:2018-01-19 22:55:05

标签: python xpath scrapy

我是python和scrapy的新手,目前正在尝试实施蜘蛛从网站获取某些信息。 该网站拥有动态的数据流(当前价格每隔几秒就会发生变化)。 当我尝试使用response.xpath(...).extract()提取它时,我得到变量名而不是我需要的当前值。

这是代码:

class DataSpider(scrapy.Spider):
    name = "data"

    def start_requests(self):
        url = "the website.com"
        yield scrapy.Request(url, self.parse)

    def parse(self, response):
        print(response.xpath('...').extract())

现在当我从cmd运行它时,我在打印时得到它:

['{{t.price | number:currentProduct.priceTick}}']

我的问题是如何获得真实的当前值?

TNX!

0 个答案:

没有答案