我可以编写既不是源也不是接收器的应用程序?

时间:2017-12-18 20:36:37

标签: spring-cloud spring-cloud-stream spring-cloud-dataflow

我尝试使用Spring Cloud Data Flow服务器来管理我的所有应用程序。而且,我对春天的一切都是新手。

我想编写一个从SFTP读取文件并将其写入S3的应用程序。文件可能非常大(每个约500MB),可以作为消息有效载荷传递。因为我所做的一切都是从SFTP读取并写入S3我以为我可以通过将单个应用程序从SFTP读取文件到本地文件来避免代理,然后将本地文件上载到S3,甚至更好地直接从SFTP流式传输字节到S3。

我迷失了如何开始创建这样的应用程序。

1 个答案:

答案 0 :(得分:1)

嗯,这里有几件事

  1. 你所描述的是应用程序,它既是又是接收器,换句话说是处理器(另一种简单封装Source的构造型)和水槽)。
  2. Spring Cloud Stream支持Spring Integration配置以实现复杂流程和/或依赖于使用预制适配器/连接器。 其中一个适配器是streaming SFTP适配器,它基本上允许您从SFTP流式传输数据,而不是将其读入内存。
  3. 基本上,您可以使用Spring Integration提供的现有组件完全按照您的要求完成任务。

    请仔细阅读文档,看看是否有意义,如果您需要更多帮助,请告诉我们。