基于用户输入的自动化参数的Jupyter Notebook执行

Question

我正在尝试构建一项服务，该服务将允许使用笔记本电脑的用户在单元格中设置自动化参数，例如笔记本电脑何时开始执行的开始时间。然后，服务将花费此输入时间并在所需时间执行笔记本并将已执行的笔记本存储到S3。我研究了papermill，但我相信没有办法使用它来添加自动化参数，例如开始执行时间。有什么办法可以做到这一点？还是造纸厂可以实现这一目标的方法？

Answer 1

Papermill仅处理参数设置和执行笔记本，而不处理调度。为此，您需要使用其他工具。您可以在Apache Airflow之上自己构建一些东西，这似乎是这种情况下最广泛的调度程序。它具有对Papermill的本地支持（请参见here）。或者，您可以使用Paperboy之类的现成工具。

要深入了解如何安排笔记本，请查看Netflix的article。

Answer 2

看看用于计划笔记本执行的包装器的代码here和here

上面的shell脚本创建一个VM，运行笔记本，保存输出并销毁实例。

在Google Cloud AI Platform Notebooks中，我们提供了Beta版的日程安排服务。