我需要有关我的抓spider蜘蛛的IMAGES_STORE设置的帮助。
我在DigitalOcean托管，并希望将图像下载到他们的空间。
我的scrapy应用程序与django网站集成在一起。我已经在按照https://www.digitalocean.com/community/tutorials/how-to-set-up-object-storage-with-django
的说明使用Spaces为django网站存储图像。它与AWS S3的设置非常相似。
我所在空间的API端点为https://ams3.digitaloceanspaces.com
根据scrapy documentation，AWS设置如下...
IMAGES_STORE = 's3://bucket/images'
IMAGES_STORE_S3_ACL = 'public-read'
我曾尝试将其调整为DigitalOcean Spaces，但未成功。
我已经尝试过
IMAGES_STORE = 'https://ams3.digitaloceanspaces.com/media'
和
IMAGES_STORE = 's3://ams3.digitaloceanspaces.com/media'
任何对此的帮助都会很棒。
答案 0 :(得分：0)
我无权访问DigitalOcean Spaces和Amazon S3，因此请以此为起点。考虑DigitalOcean Spaces的API documentation（其中有一个Python示例）和try {
BufferedReader r=new BufferedReader(new FileReader("file.txt"));
int ch;
while((ch=r.read())!=-1){
System.out.print((char)ch);
}
} catch(Exception e) {
System.out.print((char)ch);
}
（基于FilesPipeline的{{3}}），我想您还需要至少在ImagesPipeline中调整AWS_ENDPOINT_URL，也许还要调整其他settings.py选项。