Question

我有问题。我需要停止一段时间的函数执行，但不要停止整个解析的实现。也就是说，我需要一个非阻塞暂停。

看起来像是：

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):
        for url in ['url1', 'url2', 'url3', 'more urls']:
            yield Request(url, callback=self.second_parse_function)

        # Here I need some function for sleep only this function like time.sleep(10)

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

函数non_stop_function需要暂停一段时间，但不应该阻止输出的其余部分。

如果我插入time.sleep() - 它将停止整个解析器，但我不需要它。是否可以使用twisted或其他内容停止一个功能？

原因：我需要创建一个非阻塞函数，每n秒解析一次网站页面。在那里，她将获得网址并填写10秒钟。已获取的URL将继续有效，但主要功能需要休眠。

更新：

感谢 TkTech 和 viach 。一个答案帮助我理解了如何制作待定Request，第二个答案是如何激活它。两个答案相互补充，我为Scrapy做了一个非常好的非阻塞暂停：

def call_after_pause(self, response):
    d = Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'https://example.com/',
        callback=self.non_stop_function,
        dont_filter=True))
    return d

并根据我的要求使用此功能：

yield Request('https://example.com/', callback=self.call_after_pause, dont_filter=True)

Answer 1

Request对象有callback参数，请尝试使用该参数。我的意思是，创建一个包裹Deferred和self.second_parse_function的{{1}}。

这是我的脏和未经测试的示例，已标记更改的行。

pause

如果该方法适用于您，则可以创建一个根据规则构造class ScrapySpider(Spider): name = 'live_function' def start_requests(self): yield Request('some url', callback=self.non_stop_function) def non_stop_function(self, response): parse_and_pause = Deferred() # changed parse_and_pause.addCallback(self.second_parse_function) # changed parse_and_pause.addCallback(pause, seconds=10) # changed for url in ['url1', 'url2', 'url3', 'more urls']: yield Request(url, callback=parse_and_pause) # changed yield Request('some url', callback=self.non_stop_function) # Call itself def second_parse_function(self, response): pass对象的函数。它可以通过以下方式实现：

Deferred

以下是可能的用法：

def get_perform_and_pause_deferred(seconds, fn, *args, **kwargs):
    d = Deferred()
    d.addCallback(fn, *args, **kwargs)
    d.addCallback(pause, seconds=seconds)
    return d

Answer 2

如果您尝试将其用于速率限制，则可能只想使用DOWNLOAD_DELAY。

Scrapy只是Twisted上的一个框架。在大多数情况下，您可以像对待任何其他扭曲的应用程序一样对待它。而不是调用sleep，只需返回下一个请求，然后告诉twisted等待一下。例如：

from twisted.internet import reactor, defer

def non_stop_function(self, response)
    d = defer.Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'some url',
        callback=self.non_stop_function
    ))
    return d

Answer 3

提问者已经在问题的更新中提供了答案，但我想提供一个稍微好一点的版本，以便它可以重复使用任何请求。

# removed...
from twisted.internet import reactor, defer

class MySpider(scrapy.Spider):
    # removed...

    def request_with_pause(self, response):
        d = defer.Deferred()
        reactor.callLater(response.meta['time'], d.callback, scrapy.Request(
            response.url,
            callback=response.meta['callback'],
            dont_filter=True, meta={'dont_proxy':response.meta['dont_proxy']}))
        return d

    def parse(self, response):
        # removed....
        yield scrapy.Request(the_url, meta={
                            'time': 86400, 
                            'callback': self.the_parse, 
                            'dont_proxy': True
                            }, callback=self.request_with_pause)

为了解释，Scrapy使用Twisted来异步管理请求，因此我们也需要使用Twisted工具来执行延迟请求。

Scrapy：非阻塞暂停

3 个答案: