在单个jvm机器上运行16个进程

时间:2018-10-29 07:28:19

标签: apache-spark cassandra apache-kafka spark-streaming

我正在使用64 GB RAM和24核计算机,并为JVM分配了32 GB。我想运行以下过程:-

Redirect 301 /download/ /downloads/

&在5-6执行器上模拟运行4-5 Spark应用程序,每个执行器都有1GB的空间。 Spark作业的工作如下:-

7 Kafka Brokers
3 instance of zookeeper 
Elastic Search 
Cassandra
Spark
MongoDB
Mysql
Kafka Manager
Node.js

因此,有时我的插入应用程序挂起。卡夫卡每秒处理大约500条记录。运行一段时间后,它开始在队列中创建批处理,并且Spark仪表盘中的处理时间逐渐增加也没有错误。

我已使用TOP来检查CPU使用率,发现有一个进程“ 0QrmJB”正在占用1500+ CPU%的使用率,而Java正在使用200%的使用率。

可能是什么问题?我无法分析,可以在单个JVM机器上运行这些许多进程吗?谢谢,

0 个答案:

没有答案