Question

我正在尝试用spark查询Hbase表，但出现此错误：

14：08：35.134 [main]调试org.apache.hadoop.util.Shell-无法检测到有效的hadoop主目录java.io.FileNotFoundException： HADOOP_HOME和hadoop.home.dir尚未设置。

我已经在.bashrc中设置了HADOOP_HOME并回显$ HADOOP_HOME给我路径

我的代码：

    object HbaseQuery {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("HBaseRead").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    val conf = HBaseConfiguration.create()
    val tableName = "emp"

    System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.6")
    conf.set("hbase.zookeeper.quorum", "localhost")
    conf.set("hbase.master", "localhost:60000")

    conf.set(TableInputFormat.INPUT_TABLE, tableName)

    val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
    println("Number of Records found : " + hBaseRDD.count())
    hBaseRDD.foreach(println)

  }
}

我也尝试通过添加来创建spark-env.sh export HADOOP_HOME =“我的路径” 但仍然是同样的问题预先感谢

未设置带有火花HADOOP_HOME和hadoop.home.dir的查询hbase

0 个答案: