与Spark集成的最佳方式

时间:2015-12-21 18:59:02

标签: go apache-spark cassandra

我正在运行Cassandra,我正在使用gocql驱动程序连接到Cassandra。
工作真的很好。
我正在考虑使用Apache Spark来分析数据。
我应该在Scala或Java中编写Spark应用程序然后公开应用程序(以某种方式) - 或者你会怎么做?

我不知道有任何火花司机。

欢迎任何方向和信息。 此致

2 个答案:

答案 0 :(得分:4)

我认为使用Scala处理Cassandra数据的最佳工具是spark-cassandra-connector

它非常容易和强大。

答案 1 :(得分:1)

在Spark上运行用非JVM语言(如Go)编写的应用程序需要Spark本身的支持。生成的应用程序很可能会变慢,并且无法访问所有Spark功能。

要了解运行python Spark应用程序需要什么,您可以阅读https://cwiki.apache.org/confluence/display/SPARK/PySpark+Internals