设置HADOOP_CONF_DIR后找不到spark-submit returns'文件

时间:2017-08-15 22:30:46

标签: hadoop yarn amazon-emr

每当尝试在带有短语library("dplyr") mydf <- mydf %>% mutate( Description = case_when( Value == 0 ~ "TEST", TRUE ~ Description ) ) 的emr集群上使用spark-submit时,我都会收到错误消息,说明必须设置HADOOP_CONF_DIR或YARN_CONF_DIR。

将HADOOP_CONF_DIR设置为/ etc / hadoop后,我收到以下异常:

--master yarn

为了找到合适的文件,我需要填充YARN_CONF_DIR或HADOOP_CONF_DIR吗?

0 个答案:

没有答案