Question

我的输入是HBase表。首先，我正在加载数据，函数withCatalog将返回Dataframe。

def withCatalog(cat: String): DataFrame = {
  sqlContext
    .read
    .options(Map(HBaseTableCatalog.tableCatalog -> cat))
    .format("org.apache.hadoop.hbase.spark")
    .load()
}
val allrulesDF = withCatalog("personDb:employeeTable")
allrulesDF.show()

HBaseTableCatalog行显示在错误下方

term <none>.yetus.audience中缺少符号classpath.，<none>要求此符号。确保术语“受众”在您的类路径中，并检查与-Ylog-classpath的冲突依赖关系。如果针对HBaseTableCatalog.class的不兼容版本编译了<none>.yetus，则完全重建可能会有所帮助。
符号term org.apache.yetus从类路径中丢失。 <none>需要此符号。确保术语yetus在您的类路径中，并检查与-Ylog-classpath的依赖项是否冲突。如果针对HBaseTableCatalog.class的不兼容版本编译了org.apache，则完全重建可能会有所帮助。

Answer 1

这是由于spark无法加载hbase jar。

如果您使用的是hbase2.1 +，则可以在路径$HBASE_HOME/lib/client-facing-thirdparty中找到喜欢jar的受众群体注解* .jar等。

然后将这些罐子移动到火花罐路径中。

HBaseTableCatalog.tableCatalog显示错误-类路径中缺少符号'term <none> .yetus.audience'。如何解决呢？

1 个答案: