Question

这是我的蜘蛛类：

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request
from scrapy.crawler import CrawlerProcess
from scrapy.linkextractors.sgml import SgmlLinkExtractor
import csv

class StackItem(scrapy.Item):

    job_role = scrapy.Field()
    company = scrapy.Field()
    location = scrapy.Field()
    desc = scrapy.Field()
    read_more = scrapy.Field()


class newJobSpider(CrawlSpider):

    name = "newFlaskSpider"
    allowed_domains = ["placementindia.com"]
    start_urls = ["http://jobs.placementindia.com/lucknow"]
    rules = (Rule (SgmlLinkExtractor(allow=('.*\?id1=.*',),restrict_xpaths=('//a[@class="prevNext next"]',))
, callback="parse_items", follow= True),)

    def parse_items(self, response):
        hxs = HtmlXPathSelector(response)
        posts = hxs.select("//article[@class='classified']")
        items = []

        for post in posts:
            item = StackItem()
            item["job_role"] = post.select("div[@class='uu mb2px']/a/strong/text()").extract()
            item["company"] = post.select("p[1]/text()").extract()
            item["location"] = post.select("p[@class='mb5px b red']/text()").extract()
            item["desc"] = post.select("details[@class='aj mb10px']/text()").extract()
            item["read_more"] = post.select("div[@class='uu mb2px']/a/@href").extract()enter code here
            items.append(item)

            for item in items:
                yield item

这是项目管道

class myExporter(object):

    def __init__(self):
        self.myCSV = csv.writer(open('output6.csv', 'wb'))
        self.myCSV.writerow([item['job_role'], item['company'], item['location'], item['desc'], item['read_more']])

    def process_item(self, item, spider):
        self.myCSV.writerow([item['job_role'], item['company'], item['location'], item['desc'], item['read_more']])

        return item

当他们在单独的班级时，运行正常。我在csv文件中得到结果。由于我的项目要求，我需要蜘蛛定义中的csv导出器类。如何组合这些类？

Answer 1

这个问题有两种方法：

1）为什么要嵌套一个类？

如果您必须将导出器嵌套在蜘蛛class本身中，则不应嵌套。而且不需要单独的出口商。因为如果你的嵌套导出器，你应该从蜘蛛中访问它。这意味着您应该使用蜘蛛将项目写入CSV文件，这样在这种情况下您不需要从item方法中产生任何parse_items - 而是实现process_item方法那里。所以不需要单独的出口商。

2）导出器与蜘蛛文件相同的文件

如果您的导出程序与蜘蛛在同一文件中，则必须从class文件中指向此导出程序settings.py。想象一下，您的项目位于new_job文件夹中，您的蜘蛛的Python文件称为newjob.py。在这种情况下，您可以在settings.py：

中添加以下行

ITEM_PIPELINES = {'new_job.spiders.newjob.myExporter' : 90,}

顺便提一下，当我复制你的代码时，我发现了一些我需要解决的错误。所以我想知道它是否适合你。

CSV导出无效

1 个答案: