Question

一直在尝试使用Spark＆Scala将数据写入HBase。要求是-我必须根据业务来源的列的时间戳设置HBase记录的TTL。

我无法编译我的代码，详细信息如下。

我正在为此目的使用HBase Spark Alpha 4连接器 （hbase-spark-2.0.0-alpha4.jar） 。
将列的时间戳值转换为Epoch Timestamp，并尝试基于此设置TTL。
当我尝试在Spark Shell中执行相同的代码时-它正在无缝执行，并且能够在HBase中看到预期的输出。
但是当我尝试在Eclipse中进行编译时-失败，并显示以下错误。

[ERROR] error: missing or invalid dependency detected while loading class file 'HBaseContext.class'.    
[INFO] Could not access type Logging in package org.apache.spark,    
[INFO] because it (or its dependencies) are missing.

有人可以提供解决此问题的意见吗？

Answer 1

就我而言，我使用基于我的项目的参数重新编译了连接器https://github.com/apache/hbase-connectors.git。就像：

mvn -Dspark.version=2.2.2 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install

没有错误。

提示：Maven中心仓库中的groupId与groupId不同

HBase Spark-与Spark 2.0的连接

1 个答案: