Spark ODBC驱动程序连接失败

时间:2019-05-14 10:07:25

标签: python-3.x apache-spark-sql pyodbc

我已在Azure虚拟机上配置spark odbc驱动程序。为Azure Databricks连接创建了系统DSN。连接成功,我可以连接到数据库了。

对大于4GB的数据执行查询后,出现以下错误:

  

捕获到此错误:在SQL'SELECT * FROM上执行失败   ZST.DIM_CLM在哪里   CONCAT(SNAPSHOT_YEAR_MONTH,SNAPSHOT_DAY)='20190131'订购日期   CLM_PK限制20000':(''HY000',“ [HY000] [Microsoft] [Hardy]   (35)来自服务器的错误:错误代码:'0'错误消息:   'org.apache.spark.SparkException:作业由于阶段失败而中止:   122个任务的序列化结果的总大小(4.0 GB)大于   spark.driver.maxResultSize(4.0 GB)”。 (35)(SQLExecDirectW)“)

我用python编写了代码,并使用pandas odbc连接到数据库。

我可以通过odbc连接连接和加载更多数据吗?

OR

如何增加限额?

0 个答案:

没有答案