我正在使用Spark JDBC连接到MySQL表。当它读取表时,该架构包含所有可为空的列。而主键应具有可为null的false。我正在使用MySQL 5.1.8版本驱动程序。
我正在使用
session.read.jdbc(s"${destOptions.getProperty("connection_string")}?useCompression=true&useSSL=false&autoReconnect=true", config.srcTable,andLogicPredicate, destOptions).selectExpr(primaryKeyArray: _*)