我正在创建一个新的Operator，以将数据从SQL Server数据库移动到Azure SQL数据库。在该运算符内部，我将从原始SQL数据库中提取数据，进行一些转换，然后通过Azure事件中心发送数据，然后将这些数据插入我的新SQL Azure数据库中。
我不会一次提取所有数据。我将把数量以及已拉出的数量保留在一个单独的数据库中（以及其他配置）。
最大的问题是，这样我的DAG将只有一名操作员，恕我直言。
我一直在想的是将数据存储在Airflow服务器中，并在DAG中进行必要的转换，在那里我可以更好地控制正在发生的事情，查看任务流等。
有什么最好的方法可以到达这里吗？
我的想法是为源代码的每个表运行多个DAG。