气流创建DAG API或函数

Question

是否有可用的API或函数可以按需在气流中创建DAG？ DagBag文件夹上有超过一千个DAG，并且调度程序需要花费大量时间进行扫描，因此性能下降。为了控制此行为，我们已经将扫描DagBag文件夹的时间增加到1天，但是创建的每个新DAG都需要重新启动调度程序，我们希望避免这种情况。 请告知。

Answer 1

您可能可以执行以下操作：

• 已将dag中的所有核心逻辑移至可调用函数
• 并有一个通用的Dag，它将调用那些拥有核心逻辑的函数并在给定的特定时间执行

您需要将核心功能列表和执行时间保存在某个地方（可以是数据库或可以读取的文件）

在这种情况下，要在气流上方安排一个小的计划，这是多余的，因为气流对您有相同的作用，但是我认为这样做会使您受益。