在google-cloud-dataproc上运行我的spark作业时,我注意到只使用了主节点,并且所有工作节点的CPU利用率几乎为零(0.8%左右)。我既使用GUI也使用控制台来运行代码。您是否知道可能导致此问题的任何具体原因以及如何充分利用工作节点?
我以下列方式提交作业: gcloud dataproc jobs提交spark --properties spark.executor.cores = 10 --cluster cluster-663c --class ComputeMST --jars gs://kslc/ComputeMST.jar --files gs://kslc/SIFT_full.txt - - SIFT_full.txt gs:// kslc / SIFT_fu ll.txt 5.0 12