Question

我是scala和spark的新手。

我已将文本文件读入数据框，并成功将单列拆分为列（实际上文件是SPACE分隔的csv）

  val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt")

  irisDF.show()

  val dfnew:DataFrame = irisDF.withColumn("_tmp", split($"_c0", " ")).select(
    $"_tmp".getItem(0).as("col1"),
    $"_tmp".getItem(1).as("col2"),
    $"_tmp".getItem(2).as("col3"),
    $"_tmp".getItem(3).as("col4")
  ).drop("_tmp")

这很有效。

但如果我不知道数据文件中有多少列呢？如何根据拆分函数生成的项目数动态生成列？

Answer 1

您可以创建一系列选择表达式，然后使用select语法将所有这些表达式应用于:_*方法：

示例数据：

val df = Seq("a b c d", "e f g").toDF("c0")

df.show
+-------+
|     c0|
+-------+
|a b c d|
|  e f g|
+-------+

如果您需要c0列中的五列，则需要在执行此操作之前确定这些列：

val selectExprs = 0 until 5 map (i => $"temp".getItem(i).as(s"col$i"))

df.withColumn("temp", split($"c0", " ")).select(selectExprs:_*).show
+----+----+----+----+----+
|col0|col1|col2|col3|col4|
+----+----+----+----+----+
|   a|   b|   c|   d|null|
|   e|   f|   g|null|null|
+----+----+----+----+----+

Scala Spark：动态拆分数据框列

1 个答案: