使用Spark SQL删除/更新行

Question

我想删除现有行并使用新行进行更新。 我们可以使用数据库中的Spark SQL删除或更新行吗？

Answer 1

Spark SQL尚不支持UPDATE语句。

但是，Hive确实支持UPDATE / DELETE语句（自版本0.14起），但仅支持支持事务的表格，如hive documentation中所述。

Answer 2

sparkR代码

sc <- sparkR.init()
sqlContext <- sparkRSQL.init(sc)

#create R data frame

df <- data.frame(col= c("A","A","B","B"),des= c("a","b","b","c"))

#converting to spark dataframe

sdf <- createDataFrame( sqlContext, df)

registerTempTable(sdf, "sdf")

head(sql(sqlContext, "SQL QUERY"))

在其中尝试相应的sql查询并执行它。不知道它是否支持更新声明。