我的机器上有4个cpus的Ubuntu 14.04(nproc
得到4个)。
在我安装并执行Spark Standalone(本地)之后,我可以自己定义不同数量的从属。例如,我想拥有4个奴隶(工人)。在执行了这么多奴隶之后,我有了下一个独立火花屏幕:
如果我有一个uinique工作者已经拥有4个核心(我认为1核心是1个cpu),那么我的corse 16(橙色字段)和内存11 GB的总数怎么可能?如果我有4个奴隶而不是一个奴隶,那么什么是有利的呢?也许,如果我在本地执行它,我就没有(它也会更慢),但是如果我有一个hadoop集群,应该如何共享内核以及如何提高程序执行的速度?还有一些问题,如果我启动一些应用程序(scala,python或java),第一个应用程序是RUNNING,其他2或3应该处于WAITING模式。是否可以运行所有相互并行的应用程序?