AWS S3FS如何

时间:2016-07-26 20:02:46

标签: amazon-web-services ubuntu amazon-s3 amazon-ec2 s3fs

这是当前的情况 -

我有多个S3存储桶,它有来自FTP的对象PUT配置的SQS事件,我已使用S3FS配置。

此外,我在EC2上有多个目录,用户可以在其上放置一个对象,该对象与不同的S3存储桶(使用S3FS)同步,生成SQS事件(使用S3的SQS)事件)。

这是我需要实现的目标,

我需要整合文件夹级别的逻辑,而不是多个S3存储桶 即。我现在为之前创建的每个Bucket创建了不同的文件夹,我在单个文件夹中为PUT创建了单独的SQS事件。

现在是S3FS的Bucket级别逻辑,我想在单个S3存储桶中调整文件夹级别。

即。我想在EC2上创建3个不同的目录,例如A,B,C。
如果我在EC2的目录A中放置一个对象,该对象必须与S3存储桶中的文件夹A同步
类似地,对于S3的目录B和文件夹B以及在EC2上的目录C和在S3上的文件夹C。

以下是我为安装S3FS而创建的步骤 -
步骤 -

  1. ssh进入EC2

  2. sudo apt-get install automake autotools-dev g ++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config

  3. git clone https://github.com/s3fs-fuse/s3fs-fuse.git

  4. cd s3fs-fuse

  5. ./ autogen.sh

  6. ./配置

  7. sudo make install

  8. 将S3存储桶安装到文件系统

    1. echo access-key-id:secret-access-key > / etc / passwd-s3fs

    2. chmod 600 / etc / passwd-s3fs

    3. mkdir / mnt / bucketname

    4. echo s3fs# bucketname / mnt / bucketname fuse _netdev,rw,nosuid,nodev,allow_other 0 0>> / etc / fstab

    5. mount -a

    6. 现在,这些步骤实现了EC2上的特定目录与S3存储桶之间的同步 如何调整此项以同步说明EC2上的2个不同目录以及S3上的2个不同文件夹 我是Linux和AWS的新手,请帮帮我。

1 个答案:

答案 0 :(得分:0)

不要将S3存储桶安装到文件系统。使用AWS S3 CLI和Cron将EC2目录与S3存储桶目录同步。

  1. 在EC2实例(http://tecadmin.net/install-s3cmd-manage-amazon-s3-buckets/#
  2. 上安装S3CMD
  3. 启动cron作业以实现与本地目录和S3 Bucket子文件夹的同步。
  4. 创建一个脚本文件,例如" script.sh"

    #/bin/bash
    aws s3 sync /path/to/folder/A s3://mybucket/FolderA
    aws s3 sync /path/to/folder/B s3://mybucket/FolderB
    aws s3 sync /path/to/folder/C s3://mybucket/FolderC
    

    为这样的事情开始一个cron作业:

    * * * * * /root/scripts/script.sh
    

    您将获得用例。