Question

我在Spark SQL DataFrame中有两列，每列中的每个条目都是一个字符串数组。

val  ngramDataFrame = Seq(
  (Seq("curious", "bought", "20"), Seq("iwa", "was", "asj"))
).toDF("filtered_words", "ngrams_array")

我想合并每行中的数组，以便在新列中创建单个数组。我的代码如下：

def concat_array(firstarray: Array[String], 
                 secondarray: Array[String]) : Array[String] = 
                                     { (firstarray ++ secondarray).toArray }
val concatUDF = udf(concat_array _)
val concatFrame = ngramDataFrame.withColumn("full_array", concatUDF($"filtered_words", $"ngrams_array"))

我可以在两个数组上成功使用concat_array函数。但是，当我运行上面的代码时，我得到以下异常：

org.apache.spark.SparkException：作业因阶段失败而中止：阶段16.0中的任务0失败1次，最近失败：阶段16.0中失去的任务0.0（TID 12，localhost）：org.apache.spark。 SparkException：无法在org.apache.spark的org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIterator.processNext（未知来源）执行用户定义的函数（anonfun $ 1 :(数组，数组）=＆gt;数组） .sql.execution.BufferedRowIterator.hasNext（BufferedRowIterator.java:43）at org.apache.spark.sql.execution.WholeStageCodegenExec $$ anonfun $ 8 $$ anon $ 1.hasNext（WholeStageCodegenExec.scala：370）at scala.collection.Iterator在ang.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write（BypassMergeSortShuffleWriter.java）的scala.collection.Iterator $$ anon $ 11.hasNext（Iterator.scala：408）上的$ anon $ 10.hasNext（Iterator.scala：389）：125）org.apache.spark.scheduler.ShuffleMapTask.runTask（ShuffleMapTask.scala：79）at org.apache.spark.scheduler.ShuffleMapTask.runTask（ShuffleMapTask.scala：47）at at org.apache.spark.scheduler.Task.run（Task.scala：86）at org.apache.spark.executor.Executor $ TaskRunner.run（Executor.scala：274）at java.util.concurrent.ThreadPoolExecutor.runWorker（ ThreadPoolExecutor.java:1149）java.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:624）at java.lang.Thread.run（Thread.java:748）引起：java.lang.ClassCastException：scala .collection.mutable.WrappedArray $ ofRef无法强制转换为[Ljava.lang.String;在$ line80。$ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ anonfun $ 1.apply（：76）... 13更多驱动程序堆栈跟踪：

Answer 1

在Spark 2.4或更高版本中，您可以使用concat（如果要保留重复项）：

ngramDataFrame.withColumn(
  "full_array", concat($"filtered_words", $"ngrams_array")
).show

+--------------------+---------------+--------------------+
|      filtered_words|   ngrams_array|          full_array|
+--------------------+---------------+--------------------+
|[curious, bought,...|[iwa, was, asj]|[curious, bought,...|
+--------------------+---------------+--------------------+

或array_union（如果要删除重复项）：

ngramDataFrame.withColumn(
  "full_array",
   array_union($"filtered_words", $"ngrams_array")
)

这些也可以由其他高阶函数组成，例如

ngramDataFrame.withColumn(
   "full_array",
   flatten(array($"filtered_words", $"ngrams_array"))
)

包含重复项，

ngramDataFrame.withColumn(
   "full_array",
   array_distinct(flatten(array($"filtered_words", $"ngrams_array")))
)

没有。

另一方面，在处理WrappedArray列时，请勿使用ArrayType。相反，您应该期望保证的接口为Seq。因此udf应该使用具有以下签名的函数：

(Seq[String], Seq[String]) => Seq[String]

有关详细信息，请参阅SQL Programming Guide。

Answer 2

Arjun在你创建的udf中有一个错误。当你传递数组类型列.data类型不是Array [String]时它是WrappedArray [String]。我将粘贴修改后的udf与输出一起粘贴。

val SparkCtxt = new SparkContext(sparkConf)

val sqlContext = new SQLContext(SparkCtxt)

import sqlContext.implicits

import org.apache.spark.sql.functions._
val temp=SparkCtxt.parallelize(Seq(Row(Array("String1","String2"),Array("String3","String4"))))
val df= sqlContext.createDataFrame(temp,
  StructType(List(
    StructField("Col1",ArrayType(StringType),true),
    StructField("Col2",ArrayType(StringType),true)
  )
  )    )

def concat_array(firstarray: mutable.WrappedArray[String],
                 secondarray: mutable.WrappedArray[String]) : mutable.WrappedArray[String] =
{
 (firstarray ++ secondarray)
}
val concatUDF = udf(concat_array _)
val df2=df.withColumn("udftest",concatUDF(df.col("Col1"), df.col("Col2")))
df2.select("udftest").foreach(each=>{println("***********")
println(each(0))})
df2.show(true)

<强>输出：

+------------------+------------------+--------------------+
|              Col1|              Col2|             udftest|
+------------------+------------------+--------------------+
|[String1, String2]|[String3, String4]|[String1, String2...|
+------------------+------------------+--------------------+

WrappedArray（String1，String2，String3，String4）

将两个类型为Array [string]的spark sql列合并到一个新的Array [string]列

2 个答案: