在S3上传文件时删除绝对路径

时间:2017-06-21 13:49:58

标签: python django amazon-s3 boto

我正在尝试在我的存储桶中上传S3上的文件,使用以下代码,该代码工作正常。

#!/usr/bin/python
import os
import boto
import boto.s3.connection
from boto.s3.key import Key
from boto.s3.connection import S3Connection
from datetime import datetime
try:


    conn = boto.s3.connect_to_region('us-east-1',
    aws_access_key_id = 'AKXXXXXXXXXXXXA',
    aws_secret_access_key = 'cXXXXXXXXXXXXXXXXXXXXXXXXX2',
    calling_format = boto.s3.connection.OrdinaryCallingFormat(),
    )

    print conn
    filename = '/home/rahul/GitDjangopostgres/AWSNewView/company/ExtraPaymentDocuments/Argus_ATM_e_surveillance/Gujarat/Ahmedabad/P3DCAM04/cecb834f-ae85-49e3-b8a1-a6nC^U)3GcZ)M62d643aa7-d047-498c-bf59-8__Invoice (7).pdf'

    bucket = conn.get_bucket('bucketName', validate=False)
    key_name = filename
    print "file to upload",key_name

    secure_https_url = 'https://{host}/{bucket}{key}'.format(
    host=conn.server_name(),
    bucket='bucketName',
    key=key_name)

    print "secure_https_url",secure_https_url

    k = bucket.new_key(key_name)
    mp = k.set_contents_from_filename(key_name)

    print "File uploaded successfully"
except Exception,e:
    print str(e)
    print "error"

现在问题是因为我的文件名是'/home/rahul/GitDjangopostgres/AWSNewView/company/ExtraPaymentDocuments/Argus_ATM_e_surveillance/Gujarat/Ahmedabad/P3DCAM04/cecb834f-ae85-49e3-b8a1-a6nC^U)3GcZ)M62d643aa7-d047-498c-bf59-8__Invoice (7).pdf',它正在创建分层存储桶并存储我的文件。所以我的文件路径为https://s3.amazonaws.com/bucketName/home/rahul/GitDjangopostgres/AWSNewView/company/ExtraPaymentDocuments/Argus_ATM_e_surveillance/Gujarat/Ahmedabad/P3DCAM04/cecb834f-ae85-49e3-b8a1-a6nC^U)3GcZ)M62d643aa7-d047-498c-bf59-8__Invoice (7).pdf。我想将此层次结构更改为https://s3.amazonaws.com/bucketName/ExtraPaymentDocuments/Argus_ATM_e_surveillance/Gujarat/Ahmedabad/P3DCAM04/cecb834f-ae85-49e3-b8a1-a6nC^U)3GcZ)M62d643aa7-d047-498c-bf59-8__Invoice (7).pdf。有没有选择用boto或者我应该使用python,因为要在s3上传文件它需要文件的绝对路径,因为我使用Django这是我的celery任务。

1 个答案:

答案 0 :(得分:2)

函数set_contents_from_filename(key_name)理解无论什么是关键名称,它都会将它放在s3中。如果您的密钥名称包含任何/,那么它将创建层次结构。根据您的情况,我建议您创建两个路径。一个是包含文件的基本本地路径。基本本地路径将包含您要上传到s3的所有文件(使用os.path.join创建路径)接下来是aws路径,它是您要在s3存储桶中创建的层次结构。例如,您可以将aws路径声明为:

/ExtraPaymentDocuments/Argus_ATM_e_surveillance/Gujarat/Ahmedabad/P3DCAM04

然后将本地文件名附加到参数key_name,您将传递给函数new_key。  Boto会在这里工作正常。

例如: 在s3存储中创建所需的s3路径,并添加包含要上载的所有文件的基本本地路径。必须附加filename才能创建文件。 new_key函数将创建一个键,即可用于存储文件的路径。 set_contents_from_filename函数将采用本地文件路径,并使用上述函数中提供的密钥(路径)将此文件存储到s3。

k = bucket.new_key(s3_path + filename)
mp = k.set_contents_from_filename(base_local_path _ filename)