使用gsutil自动将本地存储的文件上传到Cloud Storage

Question

我是GCP的新手，我正在尝试建立一个ETL流，该流会将数据从文件上传到BigQuery。在我看来，最好的解决方案是使用gsutil。我今天看到的步骤是：

1. （完成）将.zip文件从SFTP服务器下载到虚拟机
2. （完成）解压缩文件
3. 将文件从VM上载到Cloud Storage
4. （完成）自动将文件从Cloud Storage上传到BigQuery

步骤1和2将根据时间表执行，但是我希望步骤3是事件驱动的。因此，将文件复制到特定文件夹后，gsutil会将其发送到Cloud Storage中的指定存储桶。有什么想法可以做到吗？

Answer 1

假设您正在Linux VM上运行，则可能要签出inotifywait，as mentioned in this question －您可以将其作为后台进程来进行尝试，例如bash /path/to/my/inotify/script.sh &，然后在对其进行测试并按自己的喜好工作后将其设置为守护程序。