Question

我正在尝试访问Spark中的MariaDB数据库以对其执行SQL查询。它确实可以成功打印表的架构，因此连接正常，但是每当我尝试访问数据库中的任何列或值时，我总是会超出范围异常： java.sql.SQLException：列的值超出范围：值规范

完整的日志和堆栈跟踪如下。

我可以在Spark外部访问数据库并成功获取数据库的值。而且，我尝试使用不推荐使用的类（如SparkSQLContext）访问数据库，结果类似。

object Main {

  def main(args: Array[String]) {
    // parse commandline parameters, get database properties
    val commandLineParser = new CommandLineParser()
    val commandLineParameters = commandLineParser.parseCommandLineParameters(args)
    val databaseProperties = PropertiesParser.readPropertiesFile(commandLineParameters.configFilePath)

    if (commandLineParameters.sparkSupport) {

      val spark =
      if (commandLineParameters.localMode) {
        SparkSession
          .builder()
          .appName("Spark Benchmark CLI")
          .config("spark.master", "local")
          .config("spark.driver.extraClassPath", "/opt/spark-apps/spark-apps/mariadb-java-client-2.4.1.jar")
          .getOrCreate()
      } 

      // For implicit conversions like converting RDDs to DataFrames
      import spark.implicits._

      // connect
      Class.forName("org.mariadb.jdbc.Driver")
      val connection = DriverManager.getConnection(databaseProperties.jdbcURL, databaseProperties.user, databaseProperties.password)
      connection.isClosed

      // Spark likes working with properties, hence we create a properties object
      val connectionProperties = new Properties()
      connectionProperties.put("user", s"${databaseProperties.user}")
      connectionProperties.put("password", s"${databaseProperties.password}")
      connectionProperties.put("driver", s"${commandLineParameters.databaseDriver}")

      val table = spark.read.jdbc(databaseProperties.jdbcURL, commandLineParameters.table, connectionProperties)
      table.printSchema() // this does successfully print the schema
      table.show() // this is where the exceptions are created
    } else {
        // some code that accesses the database successfully outside spark
    }

  }
}

我希望能够在Spark内部运行SQL查询，而不会出现任何超出范围的值异常。

实际发生的情况的完整日志和堆栈跟踪： https://gist.github.com/Zethson/7e3f43cd80daac219704df25cccd68fa

Answer 1

我的一位同事知道了。这是Spark / MariaDB连接器中的错误：参考：https://jira.mariadb.org/browse/CONJ-421 https://issues.apache.org/jira/browse/SPARK-25013

我通过用MySQL替换数据库Url中的mariadb解决了这个问题。

为什么访问MySQL表中的任何值时，SparkSQL总是返回超出范围的值？

1 个答案: