将Spark更新到2.4版本后出现错误

Question

我最近将Spark版本从2.2更新到2.4.0

我在此块中开始出现错误（在2.2版本中正常运行）：

object Crud_mod {

  def f(df: DataFrame,
               options: JDBCOptions,
               conditions: List[String]) {
    val url = options.url
    val tables = options.table
    val dialect = JdbcDialects_mod.get(url)

error: value table is not a member of org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions
[ERROR]     val tables = options.table

因此，我在Spark sources内进行了查看，值table似乎存在于JDBCOptions类中。

我想念什么？

Answer 1

您的源链接指向一个构造函数，该构造函数接受table作为参数，但在类本身中找不到table的值。 但是，我认为有一种tableOrQuery（here）方法可以满足您的需求。