我是Spark structured streaming的新手，我被误解了。
我想实现一个多管道系统，每个管道包含三个组件：
input -> processor -> writer.
该组件与KAFKA消息队列通信。
在我的情况下，用户可以动态方式创建管道。用户可以创建新管道或删除现有管道，因此我有一个系统管理器组件来负责此任务。
在我构建SystemManger时，有人可以从哪里开始给我提示？ ，如何dynamically创建我的pipeline？我需要使用哪种技术？
PS：我是用Scala语言开发的
谢谢
MAK