将命令行参数传递给Spark-shell会在scala终端上挂起

时间:2017-01-19 12:14:53

标签: scala shell apache-spark

我用scala编写了一个spark作业。我用:

arguments=$@
spark-shell -i <file-name-with-main, 
        auxiliary-file-name1, auxiliary-file-name2> 
    --master yarn-client 
    --driver-memory 2G 
    --executor-memory 4G 
    --num-executors 10   
    --executor-cores 4 
 <(echo 'val args = "'$arguments'".split("\\s+")' ; 
   echo "main(args)"; 
   echo ':q')

运行这份工作。我从Passing command line arguments to Spark-shell得到了这个想法。 但我需要包含echo&#34; main(args)&#34 ;; echo&#39; sys.exit&#39;它可以工作,而且它会挂在scala终端上。

为什么?有没有更好的方法呢?

0 个答案:

没有答案