覆盖与在刮板项目字段中添加值

时间:2018-07-05 15:07:13

标签: scrapy field

这是我的scrapy解析函数,目前正在从三个网址中进行抓取

def daterange(start_dt, end_dt):
    for n in range(int ((end_dt - start_dt).days)+1):
        yield start_dt + timedelta(n)

def getNewsPages(self, response):
    for dt in daterange(start_dt, end_dt):
        item['date'] = dt.strftime("%Y-%m/%d")   
    newsPages = response.xpath('//div[@id = "riqi_"]/text()').extract_first().encode('utf-8') 
    for word in leaders:
        item[word.decode('utf-8')] = newsPages.count(word)
    return item

当我导出到csv(每个URL /日期一行)时,这会给我输出

My output

似乎日期没有更改或被覆盖,但另一列(右侧)正在执行应做的事情。

如何获取正确更改的日期?

0 个答案:

没有答案