我有一个带有架构的df,也用HBoenix在HBase中创建一个表。我想要的是使用spark将此df保存到HBase。我已经尝试了以下链接中的描述,并使用phoenix插件依赖项运行spark-shell。
spark-shell --jars ./phoenix-spark-4.8.0-HBase-1.2.jar,./phoenix-4.8.0-HBase-1.2-client.jar,./spark-sql_2.11-2.0.1.jar
然而,即使我运行读取功能,我也会收到错误消息。
val df = sqlContext.load("org.apache.phoenix.spark", Map("table" -> "INPUT_TABLE",
| "zkUrl" -> hbaseConnectionString))
java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame
我感觉自己走错了路。因此,如果有另一种方法将生成的数据放入HBase中,我将非常感谢您与我分享。