如何在spark中配置hbase？

Question

将spark连接到hbase有哪些步骤？

我有两个主地址。我只是将hbase地址添加到spark classpath吗？

Answer 1

关于将Spark与HBase连接的帖子应该会有所帮助：http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase

  

我只是将hbase地址添加到spark classpath吗？

没有。实际上，您应该将hbase配置文件放在spark类路径中。如果没有，您应该在代码中设置它们，例如：

    Configuration hConf = HBaseConfiguration.create(conf);
    hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com");
    hConf.setInt("hbase.zookeeper.property.clientPort", 10000);