我创建了第一个蜘蛛,但是我只希望看到输出,而没有INFO或DEBUG消息。根据scrapy documentation,我应该使用--loglevel/-L LEVEL
,但是当我这样开始我的scrapy时:
scrapy crawl -L WARNING myspider
or
scrapy crawl --loglevel=WARNING myspider
我可以看到所有的INFO消息。我该怎么改变,我在做什么错?谢谢。
UPDATE1:
版本:
Scrapy 1.5.1
Python 3.6.5
我的蜘蛛课:
class specialspider(scrapy.Spider):
name = 'myspider'
start_urls = [
"https://webpage.cz/",
]
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
print(response.url)