我正在使用64 GB RAM和24核计算机,并为JVM分配了32 GB。我想运行以下过程:-
Redirect 301 /download/ /downloads/
&在5-6执行器上模拟运行4-5 Spark应用程序,每个执行器都有1GB的空间。 Spark作业的工作如下:-
7 Kafka Brokers
3 instance of zookeeper
Elastic Search
Cassandra
Spark
MongoDB
Mysql
Kafka Manager
Node.js
因此,有时我的插入应用程序挂起。卡夫卡每秒处理大约500条记录。运行一段时间后,它开始在队列中创建批处理,并且Spark仪表盘中的处理时间逐渐增加也没有错误。
我已使用TOP来检查CPU使用率,发现有一个进程“ 0QrmJB”正在占用1500+ CPU%的使用率,而Java正在使用200%的使用率。
可能是什么问题?我无法分析,可以在单个JVM机器上运行这些许多进程吗?谢谢,