Question

我正试图从Django开始抓取刮擦的代码是这样的

unique_id = str(uuid4()) # create a unique ID. 

settings = {
    'unique_id': unique_id, # unique ID for each record for DB
    'USER_AGENT': 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'
}

task = scrapyd.schedule('scrap_lowongan','josbid', settings=settings)

但是，我得到

scrapyd_api.exceptions.ScrapydResponseError: spider 'josbid' not found

我的文件夹结构是这样的

Bitalisy>
     Bitalisy
     Scraping>
          views.py (Schedule scrapyd from here)
     scrap_lowongan> (scrapy Project)
         scrap_lowongan>
             spider>
                 jobsid.py
             settings.py
             pipelines.py
         scrapyd.conf
         scrapy.cfg

请注意，我正在使用scrapyd.conf，因为我有两个scrapy项目。 scrapy.conf

 [scrapyd]
 http_port   = 6801

谢谢

Answer 1

我发现您必须添加：

scrapyd = ScrapydAPI('http://localhost:6801')

并且在重新启动scrapyd之后就可以了喜欢魅力。阅读更多文档here

在scrapyd.schedule中找不到蜘蛛

1 个答案: