Spark提交的应用程序未使用Datastax Enterprise中的所有节点资源

时间:2019-05-09 07:01:31

标签: datastax-enterprise spark-submit

我试图从主节点提交应用程序:

dse -u abc -p abc spark-submit --confpark.cassandra.auth.username=abc 
  --conf spark.cassandra.auth.password=abc 
  --conf spark.debug.maxToStringFields=10000 --conf spark.executor.memory=6G app.py 

Im使用3个dse分析节点,1个数据中心,4个core / 16gb ram节点,并从主节点提交应用程序。当我去检查任务/阶段时,我看到只有主任务执行的任务,而不是工人的任务。

enter image description here

有人知道这个问题吗?

0 个答案:

没有答案