来自两个类蜘蛛的刮擦python问题

Question

我有两个蜘蛛类，分别称为“类别”和“文章”，其中类别类包含我需要传递给文章类的所有URL。但是我不知道怎么做。

有人可以帮我吗？

谢谢

Answer 1

您应该在一个蜘蛛网中执行以下两项功能：

...
def parse_categories(self, response):
    # some code here...
    for article in articles:
         yield scrapy.Request(url=article, callback=self.parse_article)
...
def parse_article(self, response):
    ....
    yield article_item