我是AWS EC2的新手，需要知道如何将我的Spark作业提交给AWS EC2 spark群集。就像在azure中一样，我们可以通过IntelliJ想法直接通过azure插件提交作业。
答案 0 :(得分：0)
您可以通过spark-submit命令轻松提交spark作业。请参阅http://spark.apache.org/docs/latest/submitting-applications.html
答案 1 :(得分：0)
选项： 1）登录master或其他驱动程序网关节点并使用spark-submit通过YARN / media / etc提交作业
2）从具有足够端口和防火墙访问权限的任何计算机上使用spark submit cluster deploy模式（可能需要配置，例如来自Cloudera manager for CDH cluster的客户端配置文件）
3）使用像Livy这样的服务器设置（通过Cloudera开源，MS Azure HDinsights使用并贡献它）或者可能是thrift服务器。 Livy（Livy.io）是一个很好的简单REST服务，它还具有Scala / Java语言API，使得提交作业变得更加容易（并运行交互式持久化会话！）