Question

我想要一个管道将POST项目异步到存储服务。我想到了使用像FilePipeline这样的东西。 FilePipeline带来了很多开销，因为它假设我想将文件保存到磁盘，但在这里我只想将文件发布到存储API。但是，它确实有一个产生请求的方法：get_media_requests()。

我目前遇到FileException失败，而且我不知道如何消除保存到磁盘的组件。有没有办法使这项工作很好？

class StoragePipeline(FilePipeline):


    access_token = os.environ['access_token']

    def get_media_requests(self, item, info):

        filename = item['filename']


        headers = {
            'Authorization': f'Bearer {self.access_token}',
            'Dropbox-API-Arg': f'{{"path": "/{filename}"}}',
            'Content-Type': 'application/octet-stream',
        }

        request = Request(
            method='POST',
            url='https://content.dropboxapi.com/2/files/upload',
            headers=headers,
            body=item['data'],

        )

        yield request


    def item_completed(self, results, item, info):

        return item

Answer 1

您可以通过公开抓取工具并直接安排您的请求来安排管道中的scrapy请求：

class MyPipeline(object):
    def __init__(self, crawler):
        self.crawler = crawler

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_item(self, item, spider):
        if item['some_extra_field']:  # check if we already did below
            return item
        req = scrapy.Request('some_url', self.check_deploy,
                             method='POST', meta={'item': item})
        self.crawler.engine.crawl(req, spider)
        return item

    def check_deploy(self, response):
        # if not 200 we might want to retry
        if response.status != 200: 
            return response.meta['item']

将项目发布到存储服务的管道

1 个答案: