Spark数据帧saveAsTable不截断Hive表中的数据

时间:2017-07-07 09:56:37

标签: apache-spark apache-spark-sql spark-dataframe apache-spark-dataset

我正在使用Spark 2.1.0并使用Java SparkSession来运行我的SparkSQL。 我正在尝试使用覆盖模式将名为Dataset<Row>的{​​{1}}保存到名为'ds'的Hive表中。 但是当我运行以下声明时

schema_name.tbl_name

第一次运行后表格被删除。 当我重新运行它时,表格是在加载数据的情况下创建的。

即使使用truncate选项也无法解决我的问题。 saveAsTable是否考虑截断数据而不是删除/创建表?如果是这样,在Java中使用它的正确方法是什么?

1 个答案:

答案 0 :(得分:0)

这是我的问题对Apache JIRA的引用。似乎到目前为止尚无法解决。

https://issues.apache.org/jira/browse/SPARK-21036