詹金斯和监控文物(如jupyter笔记本)

时间:2018-05-31 15:07:14

标签: python jenkins jupyter-notebook jupyter data-science

对于以下任务,哪种方法最好? 我们使用Jenkins运行数据科学实验(experiment = jenkins build)。

我希望(对于我要配置的工作)每个构建都要显示: a)它生产的jupyter笔记本(这项工作是作为构建的一部分完成的)。也许这被称为'建立神器'?我对吗? b)实时(就像监视stdout on' console output')jupyter notebook视图一样,构建正在运行。 (对于不熟悉ipython笔记本的人 - 构建将作为管道的一部分使用bash命令启动jupyter笔记本服务器并运行特定文件。然后jupyter服务创建-at它运行的节点 - localhost webserver在一个特定的端口...我希望这个端口的web-app输出显示在jenkins-> job-> build ... meybe on a plugin&page 39上,我不想覆盖consoleoutput,当然)

是否已有插件?或者我应该自己做一个?或者是否应该更容易使用一些技巧? 最好的方法是什么?

谢谢!

1 个答案:

答案 0 :(得分:1)

我认为构建项目会更好,如果需要,可以提取任何依赖项(即pip / conda install ...),也许使用nbviewer来呈现笔记本的静态版本?

这样,您可以从Jenkins节点的HTML Publisher Plugin权限的奴隶运行它,或者推送到S3,内部Web服务器等。

如果你来运行笔记本,我会避免从奴隶运行它。它可能最初工作,但随着时间的推移,如果您使用节点资源来为笔记本提供服务,这将使您更难分配构建负载。

希望有所帮助 布鲁诺