如何将数据帧保存到HBase中?

时间:2016-11-01 14:14:10

标签: apache-spark dataframe phoenix

我有一个带有架构的df,也用HBoenix在HBase中创建一个表。我想要的是使用spark将此df保存到HBase。我已经尝试了以下链接中的描述,并使用phoenix插件依赖项运行spark-shell。

spark-shell --jars ./phoenix-spark-4.8.0-HBase-1.2.jar,./phoenix-4.8.0-HBase-1.2-client.jar,./spark-sql_2.11-2.0.1.jar 

然而,即使我运行读取功能,我也会收到错误消息。

val df = sqlContext.load("org.apache.phoenix.spark", Map("table" -> "INPUT_TABLE",
         |   "zkUrl" -> hbaseConnectionString))


java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame

我感觉自己走错了路。因此,如果有另一种方法将生成的数据放入HBase中,我将非常感谢您与我分享。

https://phoenix.apache.org/phoenix_spark.html

0 个答案:

没有答案