从队列向敏捷客户端提交工作的最佳方法是什么？

Question

我们正在团队中使用Dask来运行所有工作流程。当前，我们像这样自动运行工作流程：

• 我们运行查询以侦听特定SQL表中特定列内的更改
• 检测到表后，​​我们将导入延迟的图表并运行

以上操作正常，但需要我们查询数据库并收听进行更改。在其他情况下，我们只需要告诉调度程序运行工作流即可。在这种情况下，我们希望将任务添加到队列中并从那里运行。

我当时想使用一个简单的sql表，然后有一个循环检查该表是否有新工作。新作品发布后，将其提交给dask.distributed。

但是，这意味着我们必须每30秒或更短的时间对此表执行一次ping操作，因此查询表的频率通常为24/7，这有点麻烦。

Answer 1

如果您的问题是“我如何将任务提交给达斯克的队列？”然后我将您指向

• Dask期货https://docs.dask.org/en/latest/futures.html
• 协调原语：https://docs.dask.org/en/latest/futures.html#coordination-primitives

如果您的问题是“如何监视SQL数据库？”那么这有点超出了Dask的范围。通常，无论您用于插入数据库的任何内容，都会在某个地方触发某些事件，从而触发计算。有很多方法可以做到这一点，但进入此处可能超出范围。