Spring Cloud Data Flow Git源

时间:2019-07-05 12:43:25

标签: spring git spring-boot spring-cloud-dataflow

我有兴趣观看git存储库中的更改,然后对该存储库中的文件进行操作。我可以在github中设置一个webhook来在存储库更改时通知数据流,但是我需要下载/克隆文件来处理它们。是否有一些本地存储可以保证我可以执行类似操作的部署?

基本上,数据流部署管道中的处理器是否有本地存储可用,以便它们可以将文件保存到磁盘并将其处理到管道的下一个阶段?

谢谢!

1 个答案:

答案 0 :(得分:1)

Spring Cloud Data Flow只是Spring Boot应用程序。 SCDF不会直接与Apps,消息代理或基础平台组件(包括卷安装)进行交互。

也就是说,如果您需要应用程序来下载和处理下载的文件,则必须依靠应用程序运行所在的组件。

例如,在本地模式下使用SCDF时,所有应用程序均在计算机/ VM中作为Java进程运行,因此,如果处理器有权访问本地文件系统,则可以将其称为file:///资源。您可以使用SFTP to JDBC数据管道作为参考。在这里,SFTP源在本地下载文件,读取文件的元数据,然后将元数据作为有效负载发送给下游应用程序,后者随后启动一个Task,将文件内容写入数据库。

如果您在Cloud Foundry中运行SCDF,则将依赖于PCF Volume Services,Minio之类的托管服务。 (请参见docs

同样,在Kubernetes上使用SCDF时,您可以将K8s Volume Mounts与后端一起使用。(请参见docs