Question

我正在尝试使用带有指定偏移量的Spark jdbc从MSSQL数据库读取数据。因此，仅应在指定的时间戳记（即此偏移量）之后加载数据。我试图通过在jdbc配置中提供查询来实现它，但是，我没有发现创建带有参数化值的准备好的语句的可能性。在这种情况下，我想参数化一个偏移量，该偏移量在每次启动应用程序后都会改变。如何使用jdbc选项实现它？

所有数据库配置都位于application.conf文件中。这是我从数据库中读取的方式：

def jdbcOptions(query: String) = Map[String,String](
    "driver" -> config.getString("sqlserver.db.driver"),
    "url" -> config.getString("sqlserver.db.url"),
    "dbtable" -> s"(select * from TestAllData where update_database_time >= '2019-03-19 12:30:00.003') as subq,
    "user" -> config.getString("sqlserver.db.user"),
    "password" -> config.getString("sqlserver.db.password"),
    "customSchema" -> config.getString("sqlserver.db.custom_schema")
  )

    val testDataDF = sparkSession
      .read
      .format("jdbc")
      .options(jdbcOptions())
      .load()

查询应该看起来像这样：

s"(select * from TestAllData where update_database_time >= $tmstp) as subq

Answer 1

Spark-jdbc中没有准备好的语句，因此除了在String中设置参数外，没有其他方法：

val dayColumn = "update_database_time"
val dayValue = "2019-03-19 12:30:00.003"

s"(select * from TestAllData where $dayColumn > '$dayValue') as subq"

spark-jdbc中的准备好的语句

1 个答案: