这是我的scrapy解析函数,目前正在从三个网址中进行抓取
def daterange(start_dt, end_dt):
for n in range(int ((end_dt - start_dt).days)+1):
yield start_dt + timedelta(n)
def getNewsPages(self, response):
for dt in daterange(start_dt, end_dt):
item['date'] = dt.strftime("%Y-%m/%d")
newsPages = response.xpath('//div[@id = "riqi_"]/text()').extract_first().encode('utf-8')
for word in leaders:
item[word.decode('utf-8')] = newsPages.count(word)
return item
当我导出到csv(每个URL /日期一行)时,这会给我输出
似乎日期没有更改或被覆盖,但另一列(右侧)正在执行应做的事情。
如何获取正确更改的日期?