针对hive的Spark SQL构建？

Question

我已下载spark release - 1.3.1，包类型为Hadoop 2.6及更高版本的预构建

现在我想使用spark shell在scala代码下运行，所以我按照这个步骤

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

现在的问题是，如果我在hue浏览器上验证它

select * from src;

然后我得到了

  

表未找到异常

这意味着表没有创建如何使用spark shell配置hive以使其成功。我想使用SparkSQL，我还需要从hive读取和写入数据。

我随机听说我们需要在spark目录中的某处复制hive-site.xml文件

有人可以用步骤解释我 - SparkSQL和Hive配置

由于 图沙尔

Answer 1

确实，hive-site.xml方向是正确的。看看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables。

听起来你也希望用spark来创建一个hive表，看看＆＃34; Save to Persistent Tables＆＃34;在与上述相同的文件中。