我已在Azure虚拟机上配置spark odbc驱动程序。为Azure Databricks连接创建了系统DSN。连接成功,我可以连接到数据库了。
对大于4GB的数据执行查询后,出现以下错误:
捕获到此错误:在SQL'SELECT * FROM上执行失败 ZST.DIM_CLM在哪里 CONCAT(SNAPSHOT_YEAR_MONTH,SNAPSHOT_DAY)='20190131'订购日期 CLM_PK限制20000':(''HY000',“ [HY000] [Microsoft] [Hardy] (35)来自服务器的错误:错误代码:'0'错误消息: 'org.apache.spark.SparkException:作业由于阶段失败而中止: 122个任务的序列化结果的总大小(4.0 GB)大于 spark.driver.maxResultSize(4.0 GB)”。 (35)(SQLExecDirectW)“)
我用python编写了代码,并使用pandas odbc连接到数据库。
我可以通过odbc连接连接和加载更多数据吗?
OR
如何增加限额?