如果无法SSH到主节点上，请在dataproc群集上运行HDFS命令

Question

如果您无法通过SSH进入主节点，是否可以在Dataproc集群上提交HDFS命令。我在Gcloud SDK或其他API中找不到任何内容。

类似：

gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1

Answer 1

最简单的方法是通过gcloud dataproc jobs submit pig --execute 'fs -ls /'进行pig fs，否则将pig sh作为其他shell命令的全部。