我们正在调查Scrapy在系统中的适用性,在该系统中,非技术性最终用户将通过Web UI(例如,用户可能会指定每周抓取example.com/foo,因为这是一个全新的蜘蛛。
这将要求我们的系统以编程的方式告诉Scrapy有关此新Spider的信息,而不是通常手动创建一个定义新Spider类的文件的典型用法。
在查看api文档时,SpiderLoader似乎可以满足我们的要求,但是我找不到任何具体的示例可以对我进行确认。任何人都可以确认是否是这种情况。如果不是,请就解决此问题的一般方法提供建议,或者再举一个例子?