scala + spark项目中的HiveContext设置,用于访问现有的HDFS

时间:2015-08-05 18:49:41

标签: scala apache-spark hive apache-spark-sql

我正在尝试访问我的spark + scala项目中现有的hadoop设置

Spark版本1.4.1 Hadoop 2.6 Hive 1.2.1

来自Hive Console的

我能够创建表并访问它而没有任何问题,我也可以从Hadoop URL看到相同的表。

问题是当我尝试从项目创建表时,系统显示错误

  

错误驱动程序:失败:执行错误,返回代码1   org.apache.hadoop.hive.ql.exec.DDLTask。   MetaException(消息:file:/ user / hive / warehouse / src不是目录   或无法创建一个)

以下是我写的代码:

导入

import org.apache.spark._
import org.apache.spark.sql.hive._

代码

val sparkContext = new SparkContext("local[2]", "HiveTable")
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sparkContext)
hiveContext.setConf("hive.metastore.warehouse.dir", "hdfs://localhost:54310/user/hive/warehouse")  
hiveContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)") 

修改 如果我必须执行插入语句,而不是创建表:

hiveContext.sql("INSERT INTO TABLE default.src SELECT 'username','password' FROM foo;") 

任何帮助解决他的问题都会非常明显。

0 个答案:

没有答案