Question

我有一个关于scrapyd api的问题。

我写了一个简单的蜘蛛，它以域url作为参数。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'

    def __init__(self, domains=None):
        self.allowed_domains = [domains]
        self.start_urls = ['http://{}/'.format(domains)]

    def parse(self, response):
        # time.sleep(int(self.sleep))
        item = {}
        item['title'] = response.xpath('//head/title/text()').extract()
        yield item

如果我像这样运行它，那就完美了

scrapy crawl quotes -a domains=quotes.toscrape.com

但是当需要通过scrapyd_api运行它时，它将出错：

from scrapyd_api import ScrapydAPI

scrapyd = ScrapydAPI('http://localhost:6800')
scrapyd.schedule(project='pd', spider='quotes',  domains='http://quotes.toscrape.com/')

我得到-builtins.TypeError： init （）得到了意外的关键字参数'_job'

如何通过带有args的scrapyd api启动scrapy蜘蛛？

Answer 1

这是一个答案。

根据this answer，我对超级方法是错误的。

现在我的代码如下：

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = []

    def __init__(self, *args, **kwargs):
        super(QuotesSpider, self).__init__(*args, **kwargs)
        self.allowed_domains = [kwargs.get('domains')]
        self.start_urls.append('http://{}/'.format(kwargs.get('domains')))

当我尝试启动蜘蛛时，Scrapyd api get和exeption

1 个答案: