如何为DataFrames的不同列编写案例类

时间:2018-03-07 06:18:45

标签: scala apache-spark apache-spark-sql

如何针对不同数量的列动态编写案例类,列的数据类型可以是String。

现在我使用的RDD没有任何架构,但我想使用需要架构的数据帧。

Code Im用于从数据库中获取标头

  var options = Map(
    "url" -> url,
    "driver" -> databaseRead.split(",")(4),
    "dbtable" -> databaseRead.split(",")(2),
    "user" -> databaseRead.split(",")(5),
    "password" -> databaseRead.split(",")(6))


 val fieldname = spark.read.options(options).jdbc(options("url"), options("dbtable"), new java.util.Properties()).schema.fieldNames.toArray

0 个答案:

没有答案