我在我的DataFrame上使用.saveAsTable，现在它存储在我的HDFS hive仓库Metastore中。如何将其加载回Spark SQL？我删除了我的群集（Azure HDInsight）并创建了一个新群集，确认我的Hive Metastore位置相同且目录仍在那里。
我需要再次将其作为持久表加载，而不是像我使用PowerBI / Spark连接器那样作为临时表加载。我发现到目前为止唯一的方法是将目录加载回DF，然后再次运行.saveAsTable ..这是再次写入文件并需要很长时间才能处理。我希望有更好的方法!!
答案 0 :(得分：0)
使用.saveAsTable后，您可以使用sql查询。
df.saveAsTable("tableName")
myOtherDf = sqlContext.sql("select * from tableName")