如何在aws ec2免费套餐账户上免费安装apache spark

Question

我正在tutorial之后在我的免费套餐帐户上测试apache spark。但是它会创建2个新实例（1x master和1x slave），这意味着我整个月都无法运行我的机器......

问题：有没有办法在一台机器上安装apache spark？

感谢

Answer 1

如果您只是测试Spark，那么您实际上并不需要安装＆＃34;火花。我在以本地模式运行的本地VM中执行所有Spark开发，但您可以使用以下步骤在AWS中执行相同的操作：

1. 下载Spark：http://spark.apache.org/downloads.html我通常选择＆＃34;为Hadoop 2.6及更高版本预先构建＆＃34; （别担心，你不需要Hadoop）
2. 将tar写入您的计算机，在/ opt或/ usr / share
之类的地方解压缩
3. 那就是它！

你可以运行spark shell：

/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-shell

您可以在本地模式下运行打包的spark应用程序：

/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-submit --master local[*] --class com.example.project.class project-1.0.jar

你可以启动Spark：

/opt/spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh

在端口8080点击Spark UI

Answer 2

解决方案很简单...按照说明将apache spark设置为独立服务器link