将项目保存到天蓝色的Blob,直接使用Feed导出程序

时间:2019-08-15 14:50:00

标签: python scrapy azure-storage-blobs

我需要将刮擦的物品保存到一个蓝色的斑点容器中。

我尝试通过将以下内容添加到scrapy-feedexporter-azure-blob中来使用settings.py,但它没有保存任何内容。

FEED_STORAGES = {"azure": "scrapy_feedexporter_azure_blob.AzureBlobFeedStorage"}
FEED_URI = <MY_URI>
AZURE_ACCOUNT_NAME = <MY_ACCOUNT>
AZURE_ACCOUNT_KEY = <MY_KEY>
AZURE_CONTAINER = <MY_CONTIANER>
# AZURE_FILENAME = 'sample.json'  

我确定容器名称,URI,帐户名称和密钥正确。我还可以将这些项目保存在本地,但是需要将它们直接导出到Azure blob。

1 个答案:

答案 0 :(得分:1)

您正在使用未维护的软件(3 years without changes)。 Scrapy中的更改可能会阻止其运行。

您可以运行与正在使用的扩展程序的上一发行版(1.1.0?)一样旧的Scrapy版本,该版本应该可以正常工作。这也将带来安全风险。

或者,您可以尝试将Azure支持引入Scrapy本身。如果您查看the implementation of Amazon S3 support in Scrapythe extension you are using的实现,则可以通过有效的实现向Scrapy发送拉取请求。