为什么我用Python制作的网络爬虫无法正常工作？

Question

我正在关注Digital Ocean的Justin Duke的网络抓取教程。这是教程的链接

https://www.digitalocean.com/community/tutorials/how-to-crawl-a-web-page-with-scrapy-and-python-3

运行代码时，网络搜寻器会显示以下错误：

“ BrickSetSpider.parse回调未定义”。

我不确定这是什么意思。

这是我使用的代码。

def localuniversities():
    sites = input("Enter sites separated by a comma and space: ").lower().split(", ")
    temp = []
    for site in sites:
        if site.endswith(".ec"):
            temp.append(site[site.find("www") + len("www") + 1:site.rfind(".edu.ec")])
    return temp


print(localuniversities())

我对Python也很陌生。因此，如果您对我的问题的回答的撰写方式使noobie能够理解它，我将不胜感激。

Answer 1

赞

import scrapy


class BrickSetSpider(scrapy.Spider):
    name = "brickset_spider"
    start_urls = ['http://brickset.com/sets/year-2016']

    def parse(self, response):
        SET_SELECTOR = '.set'

        for brickset in response.css(SET_SELECTOR):
            NAME_SELECTOR = 'h1 ::text'
            yield {
            'name': brickset.css(NAME_SELECTOR).extract_first(),
                  }