我可以使用scrapy刮取本地机器的html页面吗？

Question

我是scrapy的新手。我需要使用scrapy进行一个小型演示。

我使用scrapy来刮掉stackoverflow，我成功了。我想在html页面上尝试这个，它存储在我的本地机器上。有可能吗？

请帮帮我

Answer 1

是的，你可以。只需将允许的域保留为空，然后在start_url中将html文件的位置设为file://home/file.html。 代码将是这样的

class MySpider(Spider):
    name = "myspider"
    allowed_domains = []
    start_urls = ["file:///home/file.html"]