Question

我想使用JDBC对spark中的sqlserver数据执行所有dml操作，但我在执行UPDATE查询时遇到问题。下面是用于获取连接的代码和用于执行的查询，以及执行UPDATE查询时获得的异常。任何有关如何克服这个问题的帮助或指示将会有很大帮助。提前谢谢。

val jdbcDbTable = "dbName"

val jdbcSqlConnStr = "jdbc:sqlserver://xxxx:portno;" + "user=xx;password=xxx;"
val jdbcDF = sqlContext.read.format("jdbc")
  .options(Map("driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver",
               "url" -> jdbcSqlConnStr,
               "dbtable" -> jdbcDbTable))
  .load()
jdbcDF.registerTempTable("customer1")

val cust = sqlContext.sql("Select * from customer1")
cust.show()

问题是，select *语句返回正确的结果，但是当我执行这样的更新语句时：

val upd = sqlContext.sql("update customer1  set C_NAME='newcustomer' " +
        " where C_CustKey=1471774")
upd.show()

我收到错误：

Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException: 
mismatched input 'update' expecting {'(', 'SELECT', 'FROM', 'ADD', 'DESC', 'WITH', 'VALUES', 'CREATE', 'TABLE', 'INSERT', 'DELETE', 'DESCRIBE', 'EXPLAIN', 'SHOW', 'USE', 'DROP', 'ALTER', 'MAP', 'SET', 'RESET', 'START', 'COMMIT', 'ROLLBACK', 'REDUCE', 'REFRESH', 'CLEAR', 'CACHE', 'UNCACHE', 'DFS', 'TRUNCATE', 'ANALYZE', 'LIST', 'REVOKE', 'GRANT', 'LOCK', 'UNLOCK', 'MSCK', 'EXPORT', 'IMPORT', 'LOAD'}(line 1, pos 0)

== SQL ==
update customer1  set C_NAME='newcustomer'  where C_CustKey=1471774
^^^

Answer 1

您没有通过JDBC更新表，而是尝试更新spark目录表。 Spark不支持更新语句。

您可以通过JDBC连接执行查询（使用Spark或Plain JDBC），然后获取数据帧。

如何通过JDBC在spark中执行更新查询

1 个答案: