无法将hive表加载到Spark中

Question

我正在尝试使用spark-sql从hive表加载数据。但是，它并没有给我任何回报。我试图在hive中执行相同的查询，并打印出结果。下面是我尝试在scala中执行的代码。

sc.setLogLevel("ERROR")
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{StructField, StructType, LongType}
import org.apache.spark.sql.hive.HiveContext
import sqlContext.implicits._
val sqlContext = new HiveContext(sc)
sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false")
val data = sqlContext.sql("select `websitename` from db1.table1 limit 10").toDF

请告诉我可能的原因。

• Spark- version：1.6.2
• Scala - 2.10

Answer 1

首先取决于表格的创建方式。如果它是由外部应用程序创建的，并且您将hive作为单独的服务运行，请确保 SPARK_HOME / conf / hive-site.xml 中的设置正确无误。

如果它是内部spark-sql表，它会在主节点上的文件夹中设置Metastore，在您的情况下可能已被删除或移动。