当我从SQL Server获取数据时,我使用pyspark 2.4.4,我得到com.microsoft.sqlserver.jdbc.SQLServerException: The "variant" data type is not supported.
需要做什么?解决此问题。我读了this。但是,我不明白。
编辑: 以下是我用来创建错误消息的代码:
for i in df['name']: mssql_df = spark.read.format("jdbc") \
.option("url", "jdbc:sqlserver://SERVERNAME:1433;databaseName=DB;integratedSecurity=true") \
.option("dbtable", "[" + i + "]") \
.option("driver", 'com.microsoft.sqlserver.jdbc.SQLServerDriver').load()
答案 0 :(得分:1)
这个答案来得有点晚,但可能对将来搜索该错误的解决方法有所帮助。 我只是将连接器从6.1.0.jre8版本升级到8.1.0.jre8-preview,错误已解决。
答案 1 :(得分:1)
https://mvnrepository.com/artifact/com.microsoft.sqlserver/mssql-jdbc 从版本6.3.x到当前的mssql-jdbc均支持“变量”数据类型。您只需更新依赖关系即可解决问题。