如何通过JAVA在spark中读取/写入HBASE中的数据

Question

我可以通过HBASE项目提供的JAVA api从HBASE读取/写入数据。但通过这种方式，读取操作将在火花驱动程序中处理，这似乎不是一种聪明的方式。是否有一些从HBASE读取数据的火花方式，以便可以在不同的工作人员中完成读取操作以提高性能？

Answer 1

Is there some spark way to read data from HBASE

是

• 您可以在HBase之上使用Apache Phoenix。
• Phoenix在HBase之上提供了类似SQL的层。
• 可以使用SQLContext在Spark中加载HBase表。
• 只需包含hbase-phoenix客户端jar和spark-csv databricks jar

用于读取Hbase表的Spark代码

=============================================== =================

sqlContext.read.format("org.apache.phoenix.spark")
.option("table","HBase_table_name")
.option("zkUrl","Master_node_DNS_name:2181")
.load()
.registerTempTable("tempTblName")