为什么使用＆＃34; java.lang.UnsupportedOperationException创建DataFrame失败：不支持类型为Category的Schema＆＃34;

Question

我正在使用spark 1.4.0。

我正在尝试将文本文档分为两类：科学或非科学。 我在定义类型时遇到问题：类别。我使用这些命令：

scala> case class LabeledText(id: Long, category: Category, text: String)
defined class LabeledText

scala> val data = Seq(LabeledText(0, Scientific, "hello world"), LabeledText(1, NonScientific, "witaj swiecie")).toDF

但是，出现了一个错误：

java.lang.UnsupportedOperationException: Schema for type Category is not supported.

对此的任何帮助将不胜感激。

Answer 1

我认为您可能已经使用我撰写的Example — Text Classification来尝试在Spark MLlib中提供LogisticRegression的示例。

我为没有完成它（或者至少检查它的正确性）深表歉意。

正确的版本应该从case class Article(id: Long, topic: String, text: String)开始，然后继续。

case class LabeledText的开场示例不正确，因为它使用我认为我从未正常使用的Category类型。