Question

在spark中我想将RDD对象保存到hive表。我正在尝试使用createDataFrame，但这是抛出

线程中的异常＆＃34; main＆＃34; java.lang.NullPointerException

 val products=sc.parallelize(evaluatedProducts.toList);
 //here products are RDD[Product]
 val productdf = hiveContext.createDataFrame(products, classOf[Product])

我正在使用Spark 1.5版本。

Answer 1

如果您的产品是一个类（不是案例类），我建议您在创建DataFrame之前将您的rdd转换为RDD [Tuple]：

import org.apache.spark.sql.hive.HiveContext

val hiveContext = new HiveContext(sc)
import hiveContext.implicits._

val productDF = products
  .map({p: Product => (p.getVal1, p.getVal2, ...)})
  .toDF("col1", "col2", ...)

使用此方法，您将Product属性作为DataFrame中的列。

然后您可以使用以下命令创建临时表：

productDF.registerTempTable("table_name")

或物理表：

productDF.write.saveAsTable("table_name")

将Spark RDD保存到Hive表

1 个答案: