这是我第一次使用scrapy而且我试图使用管道将我需要的信息放入csv文件中。一切似乎工作正常,直到我试图从一个以上的页面刮,它开始返回一个空白的csv文件。我认为问题在于蜘蛛(就像我在那里进行了更改一样,它停止了正常工作),但是为了防止出现问题,我还要把管道放好。
这是我的蜘蛛:
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from indeed.items import IndeedItem
class IndeedSpider(CrawlSpider):
name = "indeed"
allowed_domains = ['www.indeed.com']
start_urls = [
'http://www.indeed.com/jobs?as_and=&as_phr=&as_any=&as_not=&as_ttl=&as_cmp=&jt=all&st=&salary=&radius=50&l=19103&fromage=30&limit=10&sort=&psf=advsrch'
]
rules = (Rule(LinkExtractor(allow=('http://www.indeed.com/jobs?q=&l=19103&radius=50&fromage=30&start=.*'))), )
def parse_item(self, response):
for sel in response.xpath("//div[contains(@class, 'row ')]"):
items = []
jobs = sel.xpath('//a[contains(@data-tn-element, "jobTitle")]/text()').extract()
city = sel.xpath('//span[@class="location"]/text()').extract()
company = sel.xpath('//span[@class="company"]/text()').extract()
for j, c, co in zip(jobs, city, company):
position = IndeedItem()
position['jobs'] = j.strip()
position['city'] = c.strip()
position['company'] = co.strip()
items.append(position)
yield items
这是我的管道:
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher
from scrapy.exporters import CsvItemExporter
class IndeedPipeline(object):
def process_item(self, item, spider):
return item
class CsvExportPipeline(object):
def __init__(self):
dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)
self.files = {}
def spider_opened(self, spider):
file = open('%s_jobs.csv' % spider.name, 'w+b')
self.files[spider] = file
self.exporter = CsvItemExporter(file)
self.exporter.start_exporting()
def spider_closed(self, spider):
self.exporter.finish_exporting()
file = self.files.pop(spider)
file.close()
def process_item(self, item, spider):
self.exporter.export_item(item)
return item
非常感谢任何帮助。
答案 0 :(得分:0)
您的LinkExtractor
未提取任何链接。
如果你这样做:
scrapy shell "http://www.indeed.com/jobs?as_and=&as_phr=&as_any=&as_not=&as_ttl=&as_cmp=&jt=all&st=&salary=&radius=50&l=19103&fromage=30&limit=10&sort=&psf=advsrch"
并在scrapy shell中重新创建链接提取器:
from scrapy.linkextractor import LinkExtractor
le = LinkExtractor(allow=('http://www.indeed.com/jobs?q=&l=19103&radius=50&fromage=30&start=.*'))
le.extract_links(response)
你会注意到它没有提取任何东西 您应该检查官方documentation on LinkExtractors并尝试使用相同的方法构建一个有效的方法,然后在您的蜘蛛中使用它。
答案 1 :(得分:0)
试试这个:(删除//)
jobs = sel.xpath('a[contains(@data-tn-element, "jobTitle")]/text()').extract()
city = sel.xpath('span[@class="location"]/text()').extract()
company = sel.xpath('span[@class="company"]/text()').extract()