Apache spark是否支持teradata中持久化的数据帧(数据)?

时间:2015-09-15 08:54:23

标签: apache-spark teradata apache-spark-sql

我需要在teradata中保存数据,并且我使用spark来使用jdbc连接实现此目的。

但是每当我尝试在teradata中保存数据帧时,每次spark尝试创建一个新表时,尽管使用任何SaveMode并且表创建操作失败。

我挖了下来然后发现火花检查表是否存在使用以下声明

Try(conn.prepareStatement(s"SELECT 1 FROM $table LIMIT 1") .executeQuery().next()).isSuccess

Teradata不支持此Limit关键字,因此它提供错误,并将spark视为不存在的表,并尝试为每个数据帧写入操作创建新表。

这种或任何其他方式在teradata中保留数据框的任何解决方法?

0 个答案:

没有答案