如何将我的超级jar上传到使用spark-ec2脚本创建的spark集群?

时间:2015-04-22 17:07:22

标签: amazon-ec2 apache-spark

我使用SPARK_HOME/ec2/spark-ec2

在一行代码中创建了一个EC2 Spark集群

我也使用--copy-aws-credentials(Spark 1.2.0),因此sc.textFile("s3...")效果很好

我的问题很愚蠢,我如何将我的罐子复制到主人?

  1. aws cli似乎没有正确设置,因此我无法直接使用s3。
  2. 我可以把jar公之于众,但这是不好的做法。
  3. 我试图从外面连接到主人,但它已被阻止
  4. 通过ec2/spark-ec2推出的火花独立亚马逊ec2群集提交优步罐的最佳做法是什么?

0 个答案:

没有答案