我有一个基本的scrapy
课程,可以抓住一个网站。
我只是想将其转换为仅使用functions
而不是class-oop
结构。
我该怎么做?
import scrapy
class BrickSetSpider(scrapy.Spider):
name = "my_spider"
site_search_url = 'website.com'
base = 'http://www.website.com/search'
start_urls = [base + str(site_search_url)]
'''method1 - parse page urls'''
def method1():
#code1
'''method2 - parse urls on the page from method1'''
def method2():
#code2
具体来说,我不确定如何以scrapy.Spider
方式实例化functional
参数部分,而不是oop
谢谢。
答案 0 :(得分:2)
你做不到。 Spider
是一个抽象类,只实现一个名为start_requests()
的实现。此方法调用您必须在自己的类中实现的其他函数。您要么必须对其进行子类化,要么查看库中是否已有其他类。请参阅模板方法设计模式。