Question

我有一个用Scala编写的Apache Spark应用程序，它试图从HBase读取数据并用它做一些事情。

我遇到了像this这样做的方法，以及如何做到这一点using Spark Streaming

所以我写了下面的代码：

def main(args: Array[String]): Unit = {
    val configuration = HBaseConfiguration.create()
    configuration.set(TableInputFormat.INPUT_TABLE, "urls")
    configuration.set(TableInputFormat.SCAN_COLUMNS, "values:words")
    val hbaseRdd = sc.newAPIHadoopRDD(configuration,
        classOf[TableInputFormat],
        classOf[ImmutableBytesWritable],
        classOf[Result]
    )
    val data = hbaseRdd.map(entry => {
      val result = entry._2
      Bytes.toString(result.getRow)
    })
    data.foreach(println)
}

我的HBase表创建如下：create 'urls', {NAME => 'values', VERSIONS => 5}

我得到的是：

16/03/10 17:10:17 ERROR TableInputFormat: java.io.IOException: java.lang.reflect.InvocationTargetException
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:218)
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:119)
    at org.apache.hadoop.hbase.mapreduce.TableInputFormat.initialize(TableInputFormat.java:183)
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:241)
    at org.apache.hadoop.hbase.mapreduce.TableInputFormat.getSplits(TableInputFormat.java:237)

在阅读了这个异常here之后，我应该将其添加为堆栈跟踪的一部分：

Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
    ... 34 more
Caused by: java.lang.ClassCastException: org.apache.hadoop.hbase.ipc.RpcClientImpl cannot be cast to org.apache.hadoop.hbase.ipc.RpcClient
    at org.apache.hadoop.hbase.ipc.RpcClientFactory.createClient(RpcClientFactory.java:64)
    at org.apache.hadoop.hbase.ipc.RpcClientFactory.createClient(RpcClientFactory.java:48)
    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:637)
    ... 39 more

我的问题是：

有人可以展示一些使用Spark从HBase检索数据的基本方法。最好是比我显示的链接更新的东西
如果我在代码中做错了，我会很感激，如果你能告诉我什么

如果我能以某种方式将数据作为数据帧读取，那可能会更好

我正在使用Spark 1.6.0和HBase 1.2.0

提前致谢

Answer 1

好的，显然这是一个意外的依赖问题（因为它总是没有任何意义）。

这些是我为解决这个问题而采取的步骤（希望它们能帮助未来的开发人员）：

我使用完全相同的代码创建了一个干净的项目。这没有任何问题立即让我怀疑它是某种依赖性问题
为了确保，我将HBase依赖项放在依赖项的顶部。这创建了一个与Spark和安全性相关的异常，更具体地说：javax.servlet.FilterRegistration
然后我遇到了this useful解决方案，为我解决了这个问题。我不得不从我的pom中排除所有的javax和mortbay码头。这解决了我的所有问题

多数民众赞成：）

使用Apache Spark从HBase读取数据

1 个答案: