我们有一个用例，数据可以从不同的来源（DB，FILE等）获取，并转换并存储到各种接收器（Cassandra，DB或File）中，我们希望能够拆分作业并进行并行加载-看起来像Spring Batch RemoteChunking提供了该功能。
我是SCDF和Spring批处理的新手，想知道使用它的最佳方法是什么。
是否可以为这些作业（源连接详细信息，表和查询）提供配置，并且可以通过UI（SCDF Server UI）完成此配置。可以组成流程吗？
这将在Kubernetes上运行，并且我们的应用程序通过Jenkins管道进行部署。
答案 0 :(得分：2)
我们希望能够拆分工作并进行并行加载-看起来像Spring Batch RemoteChunking提供了该功能。
我认为您不需要远程分块，您可以运行并行作业，其中每个作业都处理一个ETL进程（对于特定文件，db表）。
是否可以为这些作业（源连接详细信息，表和查询）提供配置
是的，可以像配置任何常规的Spring Batch作业一样配置它们。
并且可以通过UI（SCDF Server UI？
如果通过作业的属性使它们可配置，则可以在运行任务时通过UI指定它们。
是否可以构成流程？
是的，Composed Task可以实现。