如何安装Apache spark并使其与Kafka一起运行?

时间:2015-10-30 15:04:29

标签: python apache-spark apache-kafka

我是Hadoop和Apache Spark的新手。我是初学者,尝试着它。现在,我正试图尝试使用Apache Spark。为了做到这一点,我假设我必须在我的机器上安装一个名为Apache Spark的软件。

我尝试使用VM创建本地计算机,但此时我迷路了。有没有资源可以帮助我在同一台机器上配置和安装Spark和Kafka?

1 个答案:

答案 0 :(得分:0)

你很幸运,Chris Fregley(来自IBM Spark TC)有一个项目,其中包含所有这些工作的Docker镜像(你可以在https://github.com/fluxcapacitor/pipeline/wiki看到它)。对于“真正的”生产部署,您可能希望查看在YARN上部署Spark或类似的东西 - 其部署选项在http://spark.apache.org/docs/latest/cluster-overview.html进行了解释,并将其与Kafka集成在特殊的Kafka集成指南中{{3} }。欢迎来到Spark的精彩之处我希望这些可以帮助您入门:)