如何使用Flask应用程序创建可中断的长期运行任务？

Question

我正在开发一个Flask应用程序，该应用程序需要在后台连续运行一个进程。我希望Web应用程序具有随时启动和停止此过程的功能。

后台任务执行以下操作：

1. 从外部服务器加载文件列表。
2. 为每个文件启动Celery任务以并行处理文件。
3. 所有文件处理完毕后，重新启动该过程（即检查新文件）。

我目前正在努力的部分是如何手动管理启动和停止该过程。 Celery对于处理所有任务非常有效，但是我还没有找到停止/暂停所有正在运行的任务的直接方法。

有没有更好的方法可以用Flask和Celery处理类似的事情？