用于协作科学/数据处理项目的仪表板

时间:2010-03-19 20:40:24

标签: testing automation continuous-integration dashboard scientific-computing

像Hudson这样的持续集成服务器是软件开发的一个非常了不起的补充。我在一个学术研究实验室工作,我很乐意将类似的原则应用于科学数据分析。我想要一个类似仪表板的视图,其中包含哪些数据集合正常,哪些未通过测试(主要是简单的shell脚本),等等。很像Chromium dashboard(警告:页面需要很长时间才能加载)。

需要至少4个人的工作,可能需要10或12个小时的计算机时间才能将我们的数据(从行为研究)从原始形式带到最终的,易于分析的形式。我已经尝试过Hudson和buildbot,但它们都不适合我们的工作流程。我们只想对50个独立的主题数据集合进行一系列测试,并很好地显示结果。

SO!有没有人建议一种方法来轻松生成这种报告?或者,您能想出一种将这种工作流程转变为持续集成服务器的好方法吗?或者,您能推荐一个单元测试仪表板,它可以处理小shell脚本而不是小函数的测试吗?

谢谢!

2 个答案:

答案 0 :(得分:2)

我猜测您的数据每天都在变化,因此您希望在新的批次数据上运行相同的测试。

Buildbot可以运行shell脚本的测试。你只需要编写一些Python来扩展Buildbot就可以实现它。话虽这么说,如果您不想使用Buildbot或Hudson并且您只是想每24小时左右运行一次测试,您可以将脚本安装为cron作业或编写一个主脚本来运行所有测试并安装 作为cron作业。如果您想要某种仪表板,那么您可能不得不编写可以将测试结果编写成HTML的内容,让您的主脚本生成该脚本并使用apache或twistd或者提供某些功能。

否则,我不知道CI系统会做的事情与Buildbot或Hudson有很大不同。

答案 1 :(得分:0)

结帐https://my.infocaptor.com

它可能会满足您的需求。您可以汇总Google电子表格中的信息,在您自己的数据库中预先汇总它们或直接访问它

作为一个实例,我们在首页仪表板上公开跟踪我们自己的指标。此仪表板从SAAS mysql数据库收集信息并且是实时的。

有许多预先构建的适配器,并且对于自定义需求,您可以在Web服务器上编写脚本,然后使用http post http://infocaptor.com/help/http_post.htm

将其与infocaptor连接