Question

我不知道为什么，但是大多数时候我的抓狂是在开始后立即停止爬网。

有时候他会进行爬网，但是大多数时候他都会开始爬网，获得200页的页面并立即停止。

2019-11-08 08:15:41 [scrapy.core.engine] INFO: Spider opened
2019-11-08 08:15:41 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-11-08 08:15:41 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024
2019-11-08 08:15:41 [rotating_proxies.middlewares] INFO: Proxies(good: 0, dead: 0, unchecked: 1011, reanimated: 0, mean backoff time: 0s)
2019-11-08 08:15:41 [scrapy_user_agents.middlewares] DEBUG: Assigned User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36
2019-11-08 08:15:41 [rotating_proxies.expire] INFO: Getting an unchecked proxy: http://xxxx:xxxxxx@xxxxxxxxxxxx:8080
2019-11-08 08:15:42 [rotating_proxies.expire] DEBUG: Proxy <http://xxxx:xxxx@xxxxxx:8080> is GOOD
2019-11-08 08:15:42 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.amazon.de/Produkte-303000031/s?me=A8KICS1PHF7ZO&rh=n%3A303001031> (referer: None)
2019-11-08 08:15:42 [scrapy.core.engine] INFO: Closing spider (finished)
2019-11-08 08:15:42 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 398,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 2812,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'elapsed_time_seconds': 1.356492,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 11, 8, 7, 15, 42, 637300),
 'log_count/DEBUG': 3,
 'log_count/INFO': 12,
 'log_count/WARNING': 42,
 'memusage/max': 59146240,
 'memusage/startup': 59146240,
 'proxies/good': 1,
 'proxies/mean_backoff': 0.0,
 'proxies/reanimated': 0,
 'proxies/unchecked': 1011,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2019, 11, 8, 7, 15, 41, 280808)}
2019-11-08 08:15:42 [scrapy.core.engine] INFO: Spider closed (finished)

我没有看到任何错误或其他信息。正如我所说，有时它可以正常工作。如果我重复几次，可以尝试一下

该代码正在运行，我可以在他没有立即停止的尝试中看到...

我有另一个站点的相同搜寻器，但没有问题。还是在亚马逊上有问题？

Answer 1

您可以在此处共享start_requests / parser函数吗？

此类行为的一个原因可能是目标网站知道您是爬虫，并且服务器发送了空白页或错误页面，其中包含200个返回码。

尝试导入：

from scrapy.utils.response import open_in_browser

并使用：

def myfunction(self, response):
    open_in_browser(response)

为了查看爬虫看到的内容。

或尝试使用具有其他随机标头的随机用户代理。

Answer 2

那只是错误日志。我们需要看一点python代码才能更好地为您提供帮助。或者如果正在运行蜘蛛，则可能是您正在运行的命令。

查看您的错误日志，在python中似乎没有任何语法问题。但是您的蜘蛛在亚马逊上至少爬行了1页。

也尝试运行

FirebaseAuth auth = FirebaseAuth.getInstance()
 auth.logOut();

然后，您可以调试代码。在那里一排排。

启动后即刻完成

2 个答案: