Spark能像Hive一样阅读Alluxio的元数据吗？

Question

我试图通过使用Alluxio减少Spark用于读写数据的时间。

但我发现我必须指定读取数据的路径。

我发现我可以使用Hive的metatool将Hive的仓库从HDFS更改为Alluxio，因此我可以通过Spark sql将数据写入Alluxio。但我不知道如何通过sql读取Alluxio的数据。

有没有办法像Hive那样读/写Alluxio的数据？也许阅读Alluxio的元数据并将其添加到Metastore？

Answer 1

您需要做的就是修改location的元存储中的表Spark。

您可以检查Alluxio以获得详细信息，如果表位置更改花费的时间太长，请检查this thread以获得帮助。

请注意，第一次查询该表时，Alluxio将从UFS中获取数据。数据存储在Alluxio中之后，以后的表查询将直接从Alluxio中读取数据。