大家好,
我试图从网站上获取数据,我已经使用scrapy做了一些项目,但我不知道如何解决这个 NameError ......
我的蜘蛛:crawlingVacature.py
import scrapy
from scrapy.http.request import Request
from scrapy import Spider
from crawlVacature.items import CrawlvacatureItem
class CrawlingvacatureSpider(scrapy.Spider):
name = 'crawlingVacature'
allowed_domains = ['vacature.com']
start_urls = ['https://www.vacature.com/nl-be/jobs/zoeken/BI/1']
def parse(self,response):
all_links = response.xpath('//div[@class="search-vacancies__prerendered-results"]/a/@href').extract()
for link in all_links:
yield Request('https://www.vacature.com/' + link, callback=self.parseAnnonce)
def parseAnnonce(self,response):
item = CrawlvacatureItem()
item[titre] = response.css('h1::text').extract()
item[corpus] = response.xpath('//div[@class="wrapper__content"]/section').css("div")[-1].xpath('//dl/dd/a/text()').extract()
yield item
我的商品档案:items.py
import scrapy
class CrawlvacatureItem(scrapy.Item):
titre = scrapy.Field()
corpus = scrapy.Field()
我的管道文件:pipelines.py
import json
class JsonWriterPipeline(object):
def open_spider(self, spider):
self.file = open('items.js', 'w')
def close_spider(self, spider):
self.file.close()
def process_item(self, item, spider):
line = json.dumps(dict(item)) + "\n"
self.file.write(line)
return item
当然,我在settings.py文件中有以下内容:
ITEM_PIPELINES = {
'crawlVacature.pipelines.JsonWriterPipeline': 800,
}
我用这个命令运行我的项目:
>>>scrapy crawl crawlingVacature
关于我的错误是:
NameError: name 'titre' is not defined
或
NameError: name 'corpus' is not defined
先谢谢你的帮助: - )
答案 0 :(得分:1)
要定义通用输出数据格式,Scrapy提供Item类。 Item对象是用于收集已删除数据的简单容器。 它们提供了类似字典的API,并提供了方便的语法 宣布他们的可用领域。
您应该使用字符串作为键,而不是变量
def parseAnnonce(self,response):
item = CrawlvacatureItem()
item['titre'] = response.css('h1::text').extract()
item['corpus'] = response.xpath('//div[@class="wrapper__content"]/section').css("div")[-1].xpath('//dl/dd/a/text()').extract()
yield item