是否可以使用AWS S3将SSEKMSKeyId和ServerSideEncryption传递给scrapy FilesPipeline,还是需要编写单独的管道?
答案 0 :(得分:0)
子类scrapy.pipelines.files.S3FilesStore
,并在子类中扩展其HEADERS
类属性,以使用所需的值定义所需的标头。
在您的情况下,相应的标题是:X-Amz-Server-Side-Encryption
,X-Amz-Server-Side-Encryption-Aws-Kms-Key-Id
(有关其他标题名称,您可以在类的源代码中看到标题到键的映射)。
子类FilesPipeline
,然后在子类中编辑STORE_SCHEMES
类属性,以将s3
指向您的S3FilesStore
子类。
更新您的ITEM_PIPELINES
设置以使用您的FilesPipeline
子类。