我已经在本地计算机中创建了一个Spark程序,如here中所述,将datframe保存到hbase中。但是我不确定如何在cloudera上运行的hbase代码中传递连接详细信息:
代码:
def main(args: Array[String]) {
val conf = new SparkConf().setMaster("local").setAppName("TrafficTracker")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val data = (0 to 255).map { i => HBaseRecord(i, "extra") }
sc.parallelize(data).toDF.write.options(Map(
HBaseTableCatalog.tableCatalog -> Catalog.catalog,
HBaseTableCatalog.newTable -> "5")).format("org.apache.hadoop.hbase.spark ")
.save()
}
注意:我正在VM上运行cloudera,并在本地计算机上运行代码