Spark会支持Clojure吗?

时间:2015-04-09 22:10:30

标签: clojure apache-spark spark-streaming nupic

我即将开始学习函数式编程,Clojure最吸引我,我喜欢它的社区,语法和不可变数据结构的概念。我也对丰富数据Numenta的生物启发ML感兴趣。 但是,我最担心的是Spark还没有支持它,而且Spark摇滚! 有一个Flambo Flambo Clojure,但它是一个令人满意的解决方案吗?

我的课程和工作是在Scala。我应该打败并进入斯卡拉世界还是你认为我应该只关注Clojure?

2 个答案:

答案 0 :(得分:10)

作为作者或Sparkling(感谢Josh Rosen指出),我可以告诉您我们在公司使用它进行ETL处理。

这就是好事:

  • 它提供了一种与Spark交互的Clojuristic方式,正如您在演示文稿中所看到的那样"Big Data with style - the Clojure/Spark way"
  • 它针对性能进行了优化
  • 它用于生产,还有其他人也在使用它

这是缺少的:

  • 目前不支持Spark Streaming,Spark SQL,Spark Dataframes或Spark ML。未来可能会出现这种情况,我很乐意接受拉动请求,但目前还不是主要关注点(在撰写本文时,2015年4月)。

我希望这可以帮助您决定使用Clojure或开始学习Scala。

答案 1 :(得分:2)

很难说像Spark这样的东西不支持Clojure。询问是否有好的库可以使用Clojure中易于使用的项目更有意义。从谷歌搜索Flambo看起来像一个可行的选择,在各种clojure会议上,我听到偶然的谈论在几种情况下使用Spark。

我想说使用Clojure中的spark有相当低的技术风险,因此您可以根据工作环境的其他约束和pojects做出选择。特别偏向于Clojure,我全心全意地建议至少尝试一下,看看语言和生态系统的哪些部分适合你。