我用scala编写了一个spark作业。我用:
arguments=$@
spark-shell -i <file-name-with-main,
auxiliary-file-name1, auxiliary-file-name2>
--master yarn-client
--driver-memory 2G
--executor-memory 4G
--num-executors 10
--executor-cores 4
<(echo 'val args = "'$arguments'".split("\\s+")' ;
echo "main(args)";
echo ':q')
运行这份工作。我从Passing command line arguments to Spark-shell得到了这个想法。 但我需要包含echo&#34; main(args)&#34 ;; echo&#39; sys.exit&#39;它可以工作,而且它会挂在scala终端上。
为什么?有没有更好的方法呢?