我们在气流中遇到问题,它多次执行相同的查询。
我们检查当时只有一个DAG实例正在运行。 在Web UI中,checked已运行TASK实例,但它只显示一个任务日志。
共有4个工作节点,在检查工作节点日志后发现, 工作节点1:由此工作节点在01.00执行的DML任务 工作节点2:未执行DML但仅在01.00处排队尝试1 工作节点3:此节点上的任务没有在01.00运行 工作节点4:此工作节点在01.00执行的相同DML任务
工作节点1和节点4同时向服务器提交相同的DML。
任何方法都可以避免气流被不同的工作节点多次提交相同的查询?