scrapy - allowed_domains上的条件

Question

我想知道在python中是否可以在这样的链接上创建一个条件：if my_link is allowed: 我试过了：

allowed_domains = ['exemple.com']

if mylink.exemple.com in allowed_domains:
    something

所以我的链接是允许的，但不是写在allowed_domains中......我怎么能取悦？

Answer 1

您可以查看OffsiteMiddleware的实施方式（link），特别是should_follow方法。您可以从那里重用逻辑。