如何在HBase(Cloudera)中保存数据帧?

时间:2018-12-18 17:05:44

标签: apache-spark dataframe hbase cloudera

我已经在本地计算机中创建了一个Spark程序,如here中所述,将datframe保存到hbase中。但是我不确定如何在cloudera上运行的hbase代码中传递连接详细信息:

代码:

def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("TrafficTracker")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._
    val data = (0 to 255).map { i => HBaseRecord(i, "extra") }
    sc.parallelize(data).toDF.write.options(Map(
      HBaseTableCatalog.tableCatalog -> Catalog.catalog,
      HBaseTableCatalog.newTable -> "5")).format("org.apache.hadoop.hbase.spark ")
      .save()
  }

注意:我正在VM上运行cloudera,并在本地计算机上运行代码

0 个答案:

没有答案