我有兴趣观看git存储库中的更改,然后对该存储库中的文件进行操作。我可以在github中设置一个webhook来在存储库更改时通知数据流,但是我需要下载/克隆文件来处理它们。是否有一些本地存储可以保证我可以执行类似操作的部署?
基本上,数据流部署管道中的处理器是否有本地存储可用,以便它们可以将文件保存到磁盘并将其处理到管道的下一个阶段?
谢谢!
答案 0 :(得分:1)
Spring Cloud Data Flow只是Spring Boot应用程序。 SCDF不会直接与Apps,消息代理或基础平台组件(包括卷安装)进行交互。
也就是说,如果您需要应用程序来下载和处理下载的文件,则必须依靠应用程序运行所在的组件。
例如,在本地模式下使用SCDF时,所有应用程序均在计算机/ VM中作为Java进程运行,因此,如果处理器有权访问本地文件系统,则可以将其称为file:///
资源。您可以使用SFTP to JDBC数据管道作为参考。在这里,SFTP源在本地下载文件,读取文件的元数据,然后将元数据作为有效负载发送给下游应用程序,后者随后启动一个Task,将文件内容写入数据库。
如果您在Cloud Foundry中运行SCDF,则将依赖于PCF Volume Services,Minio之类的托管服务。 (请参见docs)
同样,在Kubernetes上使用SCDF时,您可以将K8s Volume Mounts与后端一起使用。(请参见docs)