从Spark加载数据后无法打开HDFS文件

Question

我正在使用Java-Spark。

我正在将Parquet数据加载到Hive表中，如下所示：

ds.write().mode("append").format("parquet").save(path);

然后我做

spark.catalog().refreshTable("mytable");//mytable is External table

在尝试查看Impala中的数据后，出现以下异常：

  

无法打开HDFS文件

     

没有这样的文件或目录。根本原因：RemoteException：文件不存在

在黑斑羚refresh mytable上进行操作之后，我可以看到数据。

如何从Spark发出刷新命令？

我也在尝试

spark.sql("msck repair table mytable");

仍然不能为我工作。

有什么建议吗？

谢谢。