Question

我正在努力使用自定义案例类使用Spark（1.4.0）写入Cassandra（2.1.6）。到目前为止，我已经尝试使用DataStax spark-cassandra-connector 1.4.0-M1和以下案例类：

case class Event(event_id: String, event_name: String, event_url: String, time: Option[Long])
[...]
case class RsvpResponse(event: Event, group: Group, guests: Long, member: Member, mtime: Long, response: String, rsvp_id: Long, venue: Option[Venue])

为了完成这项工作，我还实施了以下转换器：

implicit object EventToUDTValueConverter extends TypeConverter[UDTValue] {
  def targetTypeTag = typeTag[UDTValue]
  def convertPF = {
    case e: Event => UDTValue.fromMap(toMap(e)) // toMap just transforms the case class into a Map[String, Any]
  }
}

TypeConverter.registerConverter(EventToUDTValueConverter)

如果我手动查找转换器，我可以使用它将Event的实例转换为UDTValue，但是，当使用sc.saveToCassandra传递RsvpResponse的实例时使用相关对象，我收到以下错误：

15/06/23 23:56:29 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1)
com.datastax.spark.connector.types.TypeConversionException: Cannot convert object Event(EVENT9136830076436652815,First event,http://www.meetup.com/first-event,Some(1435100185774)) of type class model.Event to com.datastax.spark.connector.UDTValue.
    at com.datastax.spark.connector.types.TypeConverter$$anonfun$convert$1.apply(TypeConverter.scala:42)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1$$anonfun$convertPF$1.applyOrElse(UserDefinedType.scala:33)
    at com.datastax.spark.connector.types.TypeConverter$class.convert(TypeConverter.scala:40)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1.convert(UserDefinedType.scala:31)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:46)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:43)

由于连接器库在内部处理UDTValue的方式，我的转换器似乎永远不会被调用。但是，上述解决方案确实可用于从Cassandra表（包括用户定义的类型）读取数据。基于connector docs，我还直接用com.datastax.spark.connector.UDTValue类型替换了我的嵌套案例类，然后修复了所描述的问题，但中断了读取数据。我无法想象我的意思是定义2个独立的模型来读写数据。或者我错过了一些明显的东西？

Answer 1

从版本1.3开始，无需使用自定义类型转换器来加载和保存嵌套UDT。只需使用案例类对所有内容进行建模，并坚持使用字段命名约定，您应该没问题。

如何将嵌套的case类转换为UDTValue类型

1 个答案: