集群过载。如何避免?我可以运行单独的h2o群集吗?我应该使用哪些其他技术?

时间:2019-11-08 09:56:33

标签: python h2o

我正在尝试创建基于ML的应用程序。在h2o的帮助下,服务器端在python上,客户端在nodejs +前端上。

服务器端部分具有以下结构:
 -run.sh(从客户端获取参数并运行所需python脚本的脚本)
 -preprocess.py
 -analyse.py
 -visualize.py
 -load.py
 -upload.py

每个脚本都包含h20集群初始化:

h2o.init()
h2o.no_progress()
...  
...  
h2o.cluster().shutdown()  
exit(0)

如果仅运行一个进程,它将很好地工作。如果我开始另一个进程-我很快将面临集群超载,因为所有计算都使用h2o存储在计算机上的集群中。

目前,我试图通过使用Docker容器拆分进程,以便每个脚本都在单独的Docker容器中运行,但是我开始认为我选择了错误的方式。

是否有拆分流程的方法?就像每个呼叫在不同端口上运行集群一样。这样关闭一个进程不会影响另一个正在运行的进程。

或者也许我应该使用一些其他技术?

欢迎任何建议。

0 个答案:

没有答案