我正在尝试运行一个包含以下内容的简单shell脚本:
spark-submit –class org.apache.spark.examples.SparkPi –master yarn-client /cloudera/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/spark/lib/spark-examples.jar 100
在shell命令中我编写script.sh然后从我的HDFS目录中添加我的文件“script.sh”。
log4j:WARN找不到记录器的appender (org.apache.hadoop.mapreduce.v2.app.MRAppMaster)。 log4j:警告请 正确初始化log4j系统。 log4j:警告请参阅 http://logging.apache.org/log4j/1.2/faq.html#noconfig了解更多信息。
请你帮忙。