使用Spring批处理流式blob

Question

我需要编写一个ETL，我需要将blob从一个存储迁移到另一个存储。单个blob的大小可以大到100gb。

• 是否可以使用Spring批处理框架流式传输这些blob？我看到有读者，处理器和作家的概念。我不确定的是，是否可以在Spring批处理编写器中获取我的blob源InputStream的句柄，以便我可以将数据从源数据流传输到接收数据源。

感谢。

Answer 1

我认为ItemReader / Processor / Writer在这里不会帮到你。这种抽象适用于转换数据库中的记录。但在你的情况下它很复杂，因为记录不适合记忆。

您可以使用Reader / Processor / Writer方法（和弹簧批处理）是事务处理和可重启性。

这里的主要问题是：您需要找到如何将blob从一个存储流式传输到另一个存储的正确方法。那么这个逻辑应该转到处理器或写入器。