我正在尝试访问我的spark + scala项目中现有的hadoop设置
Spark版本1.4.1 Hadoop 2.6 Hive 1.2.1
来自Hive Console的我能够创建表并访问它而没有任何问题,我也可以从Hadoop URL看到相同的表。
问题是当我尝试从项目创建表时,系统显示错误
错误驱动程序:失败:执行错误,返回代码1 org.apache.hadoop.hive.ql.exec.DDLTask。 MetaException(消息:file:/ user / hive / warehouse / src不是目录 或无法创建一个)
以下是我写的代码:
导入
import org.apache.spark._
import org.apache.spark.sql.hive._
代码
val sparkContext = new SparkContext("local[2]", "HiveTable")
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sparkContext)
hiveContext.setConf("hive.metastore.warehouse.dir", "hdfs://localhost:54310/user/hive/warehouse")
hiveContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
修改 如果我必须执行插入语句,而不是创建表:
hiveContext.sql("INSERT INTO TABLE default.src SELECT 'username','password' FROM foo;")
任何帮助解决他的问题都会非常明显。