我正在尝试创建基于ML的应用程序。在h2o的帮助下,服务器端在python上,客户端在nodejs +前端上。
服务器端部分具有以下结构:
-run.sh(从客户端获取参数并运行所需python脚本的脚本)
-preprocess.py
-analyse.py
-visualize.py
-load.py
-upload.py
每个脚本都包含h20集群初始化:
h2o.init()
h2o.no_progress()
...
...
h2o.cluster().shutdown()
exit(0)
如果仅运行一个进程,它将很好地工作。如果我开始另一个进程-我很快将面临集群超载,因为所有计算都使用h2o存储在计算机上的集群中。
目前,我试图通过使用Docker容器拆分进程,以便每个脚本都在单独的Docker容器中运行,但是我开始认为我选择了错误的方式。
是否有拆分流程的方法?就像每个呼叫在不同端口上运行集群一样。这样关闭一个进程不会影响另一个正在运行的进程。
或者也许我应该使用一些其他技术?
欢迎任何建议。