有没有一种方法可以使用AWS S3将SSEKMSKeyId和ServerSideEncryption传递给scrapy FilesPipeline?

时间:2020-09-08 09:25:37

标签: python amazon-web-services amazon-s3 scrapy

是否可以使用AWS S3将SSEKMSKeyId和ServerSideEncryption传递给scrapy FilesPipeline,还是需要编写单独的管道?

1 个答案:

答案 0 :(得分:0)

  1. 子类scrapy.pipelines.files.S3FilesStore,并在子类中扩展其HEADERS类属性,以使用所需的值定义所需的标头。

    在您的情况下,相应的标题是:X-Amz-Server-Side-EncryptionX-Amz-Server-Side-Encryption-Aws-Kms-Key-Id(有关其他标题名称,您可以在类的源代码中看到标题到键的映射)。

  2. 子类FilesPipeline,然后在子类中编辑STORE_SCHEMES类属性,以将s3指向您的S3FilesStore子类。

  3. 更新您的ITEM_PIPELINES设置以使用您的FilesPipeline子类。