火花丛是什么意思?

时间:2016-08-05 20:58:29

标签: hadoop apache-spark

我在本地机器上使用了python,使用python进行分析性瞳孔。

最近我听到过“火花星团”这个词,我想知道它究竟是什么?

是不是Spark在某些机器集群上运行?

如何在没有Hadoop系统的群集上使用它?可能吗?你能描述一下吗?

1 个答案:

答案 0 :(得分:1)

Apache spark是一个分布式计算系统。虽然它可以在一台机器上运行,但它可以在集群上运行,并利用集群可能的并行性。 Spark利用了大部分Hadoop堆栈,例如HDFS文件系统。但是,Spark与Hadoop分布式计算链相当重叠。 Hadoop以地图为中心减少编程模式,而Spark在程序设计方面更为通用。此外,Spark还具有帮助提高性能的功能。

有关详细信息,请参阅https://www.xplenty.com/blog/2014/11/apache-spark-vs-hadoop-mapreduce/