AWS S3 CLI与实时观看文件夹同步

时间:2019-10-17 18:06:15

标签: bash unix amazon-s3 aws-cli

什么是bash命令,它将在本地文件夹发生更改时连续监视jsondata文件夹并将该文件夹与s3同步。

现在我正在运行此命令,但它没有-watch标志。

aws s3 sync jsondata s3://mybucket/jsondata/

4 个答案:

答案 0 :(得分:0)

似乎有很多选择,但这是谷歌快速搜索中的一个:

https://pypi.org/project/watchdog/

Python脚本,可以注册文件系统通知并采取措施作为响应。上面链接中显示的示例可以采用一个Shell命令(例如s3 sync),该命令可以在检测到目录更改时执行。

inotify_simple project是另一种选择。有很多选择。

答案 1 :(得分:0)

在Linux中,您可以使用 incrontab 实用程序监视文件和文件夹。每当您在文件夹中收到新文件时,触发脚本。该脚本将包含aws sync命令。

答案 2 :(得分:0)

S3 Sync是一个bash脚本,它将使用inotify linux内核实用程序和s3cmd在本地目录和Amazon S3之间设置自动同步。它还可以通过cron从S3存储桶同步到本地目录。

https://github.com/jasonrichardsmith/s3_sync

答案 3 :(得分:0)

我也遇到了同样的问题,遇到了这个stackoverflow问题,并认为必须有一种更方便的方法来实现此目的。

因此我正是为此目的编写了一个小npm模块。它监视一个文件夹,并将文件更改自动上传到s3存储桶。叫做s3-auto-sync

安装后,您只需运行s3-auto-sync -r us-east-1 -b my-bucket -d ./my-folder。就是这样。

PS:在与您所在位置相同的区域使用存储分区,这将大大提高上传速度。