如何使用django-storage和Amazon S3设置Django项目,但是对于静态文件和媒体文件有不同的文件夹?

时间:2012-04-30 20:36:55

标签: django amazon-s3 django-settings static-files django-storage

我正在配置使用服务器文件系统存储应用程序静态文件(STATIC_ROOT)和用户上传文件(MEDIA_ROOT)的Django项目。

我现在需要在亚马逊的S3上托管所有内容,所以我为此创建了一个存储桶。将django-storagesboto存储后端一起使用,我设法将收集的静态内容上传到S3存储桶:

MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'

然后,我遇到了一个问题:存储桶中没有使用MEDIA_ROOTSTATIC_ROOT,因此存储桶根目录包含静态文件和用户上传的路径。

那么我可以设置:

S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT

并在模板中使用这些设置,但在S3中使用django-storages存储时,静态/媒体文件没有区别。

如何做到这一点?

谢谢!

6 个答案:

答案 0 :(得分:124)

我认为以下内容应该有效,并且比Mandx的方法更简单,尽管它非常相似:

创建s3utils.py文件:

from storages.backends.s3boto import S3BotoStorage

StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage  = lambda: S3BotoStorage(location='media')

然后在settings.py

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'

可以在两个example_文件here中看到一个不同但相关的示例(我已经测试过)。

答案 1 :(得分:7)

我目前在分开的s3utils模块中使用此代码:

from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode

from storages.backends.s3boto import S3BotoStorage


def safe_join(base, *paths):
    """
    A version of django.utils._os.safe_join for S3 paths.

    Joins one or more path components to the base path component intelligently.
    Returns a normalized version of the final path.

    The final path must be located inside of the base path component (otherwise
    a ValueError is raised).

    Paths outside the base path indicate a possible security sensitive operation.
    """
    from urlparse import urljoin
    base_path = force_unicode(base)
    paths = map(lambda p: force_unicode(p), paths)
    final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
    # Ensure final_path starts with base_path and that the next character after
    # the final path is '/' (or nothing, in which case final_path must be
    # equal to base_path).
    base_path_len = len(base_path) - 1
    if not final_path.startswith(base_path) \
       or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
        raise ValueError('the joined path is located outside of the base path'
                         ' component')
    return final_path


class StaticRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'static/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)


class MediaRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'media/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)

然后,在我的设置模块中:

DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'

我必须重新定义_normalize_name()私有方法以使用safe_join()函数的“固定”版本,因为原始代码为法律路径提供了SuspiciousOperation个例外。

我发布这个是为了考虑,如果有人能给出更好的答案或改进这个答案,那将非常受欢迎。

答案 2 :(得分:6)


  

文件:PROJECT_NAME / custom_storages.py

from django.conf import settings
from storages.backends.s3boto import S3BotoStorage

class StaticStorage(S3BotoStorage):
    location = settings.STATICFILES_LOCATION

class MediaStorage(S3BotoStorage):
    location = settings.MEDIAFILES_LOCATION
  

文件:PROJECT_NAME / settings.py

STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'

if not DEBUG:
    STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
    DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
    AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
    AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
    AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
    AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
    AWS_QUERYSTRING_AUTH = False

并运行:python manage.py collectstatic

答案 3 :(得分:2)

我认为答案非常简单并且默认完成。这适用于使用Django 1.6.5和Boto 2.28.0的AWS Elastic Beanstalk:

STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)

TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
)

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']

AWS密钥是从容器配置文件传入的,我根本没有设置STATIC_ROOTSTATIC_URL。此外,不需要s3utils.py文件。这些详细信息由存储系统自动处理。这里的技巧是我需要在我的模板中正确且动态地引用这个未知路径。例如:

<link rel="icon" href="{% static "img/favicon.ico" %}">

这就是我在~/Projects/my_app/project/my_app/static/img/favicon.ico中解决本地(预部署)生活的网站的方式。

当然我有一个单独的local_settings.py文件,用于在开发环境中本地访问这些东西,它确实有STATIC和MEDIA设置。我不得不进行大量的实验和阅读以找到这个解决方案,并且它始终如一地工作而没有错误。

我知道您需要静态和根分离,并且考虑到您只能提供一个存储桶,我会指出此方法将~/Projects/my_app/project/my_app/static/下的本地环境中的所有文件夹都包含在内,并在存储桶中创建一个文件夹root(即:上面的例子中的S3bucket / img /)。所以你确实得到了文件的分离。例如,您可以在media文件夹中有一个static文件夹,并通过模板化访问它:

{% static "media/" %}

我希望这会有所帮助。我来到这里寻找答案,并且更难以找到比扩展存储系统更简单的解决方案。相反,我阅读了关于Boto的预期用途的文档,我发现我需要的很多内容默认是内置的。干杯!

答案 4 :(得分:0)

如果甚至在介质分离或静态分离之前都希望有子文件夹,则可以在bradenm答案的顶部使用AWS_LOCATION。 参考:https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html#usage

AWS_STORAGE_BUCKET_NAME = 'bucket_name'
AWS_LOCATION = 'path1/path2/'

答案 5 :(得分:0)

Bradenm's answer 已过时且无法使用,因此我于 2021 年 3 月对其进行了更新。

更新一:


在“settings.py”的同一个文件夹中创建一个s3utils.py

from storages.backends.s3boto3 import S3Boto3Storage

StaticRootS3Boto3Storage = lambda: S3Boto3Storage(location='static')
MediaRootS3Boto3Storage  = lambda: S3Boto3Storage(location='media')

然后,将 2 行代码添加到 settings.py 并将“myproject”更改为您的文件夹名称:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto3Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto3Storage'

更新后的有多个“3s”,我在下面强调。

s3utils.py:

from storages.backends.s3boto"3" import S3Boto"3"Storage
    
StaticRootS3Boto"3"Storage = lambda: S3Boto"3"Storage(location='static')
MediaRootS3Boto"3"Storage  = lambda: S3Boto"3"Storage(location='media')

settings.py:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto"3"Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto"3"Storage'

检查并与 Bradenm's (outdated) answer 进行比较。

“我尊重 Bradenm 的回答。”