从spark更新cassandra集合

时间:2015-08-06 07:32:34

标签: cassandra apache-spark spark-cassandra-connector

我对spark-cassandra很新。

我将浏览spark-casssandra连接器的文档,以了解如何更新cassandra集合。 此链接(https://github.com/datastax/spark-cassandra-connector/blob/master/doc/5_saving.md)具有以下代码来更新集合:

val listElements = sc.parallelize(Seq(
  (1,Vector("One")),
  (1,Vector("Two")),
  (1,Vector("Three"))))

val prependElements = sc.parallelize(Seq(
  (1,Vector("PrependOne")),
  (1,Vector("PrependTwo")),
  (1,Vector("PrependThree"))))

listElements.saveToCassandra("ks", "collections_mod", SomeColumns("key", "lcol" append))
prependElements.saveToCassandra("ks", "collections_mod", SomeColumns("key", "lcol" prepend))

但是当我在eclipse中尝试上面的代码时,我在" lcol"附近出现错误。追加和" lcol"前置

错误是:value append不是String的成员 和  value prepend不是String

的成员

我在这里遗漏了什么?我该如何解决这个问题?

2 个答案:

答案 0 :(得分:0)

import com.datastax.spark.connector._添加到您的代码中。这将带来您范围内从StringColumnName的隐式转换。 ColumnName已提供所需的操作prependappend

答案 1 :(得分:0)

我遇到了同样的问题。将sbt插件升级到"com.datastax.spark" %% "spark-cassandra-connector" % "1.5.0-RC1"版本并运行./activator clean帮助