Question

我试图获取名为Foo的每个数组列的最后n个元素，并从中分离出一个名为last_n_items_of_Foo的列。 Foo列数组的长度可变

我看过这篇文章here 但是它有一种无法用于访问最后一个元素的方法。

import pandas as pd
from pyspark.sql.functions import udf, size
from pyspark.sql.types import StringType
from pyspark.sql.functions import col

df = pd.DataFrame([[[1,1,2,3],1,0],[[1,1,2,7,8,9],0,0],[[1,1,2,3,4,5,8],1,1]],columns = ['Foo','Bar','Baz'])


spark_df = spark.createDataFrame(df)

这是输出的外观

如果n = 2

                Foo        Bar  Baz   last_2_items_of_Foo  
0           [1, 1, 2, 3]    1    0      [2, 3]
1     [1, 1, 2, 7, 8, 9]    0    0      [8, 9] 
2  [1, 1, 2, 3, 4, 5, 8]    1    1      [5, 8]

Answer 1

您可以编写自己的UDF来从Array中获取最后n个元素：

import pyspark.sql.functions as f
import pyspark.sql.types as t

def get_last_n_elements_(arr, n):
            return arr[-n:]

get_last_n_elements = f.udf(get_last_n_elements_, t.ArrayType(t.IntegerType()))

UDF将列数据类型作为参数，因此请使用f.lit(n)

spark_df.withColumn('last_2_items_of_Foo', get_last_n_elements('Foo', f.lit(2))).show()
+--------------------+---+---+-------------------+
|                 Foo|Bar|Baz|last_2_items_of_Foo|
+--------------------+---+---+-------------------+
|        [1, 1, 2, 3]|  1|  0|             [2, 3]|
|  [1, 1, 2, 7, 8, 9]|  0|  0|             [8, 9]|
|[1, 1, 2, 3, 4, 5...|  1|  1|             [5, 8]|
+--------------------+---+---+-------------------+

显然，在 spark 2.4 中，有内置函数f.slice可以对数组进行切片。

当前我的系统中没有2.4+版本，但如下所示：

spark_df.withColumn('last_2_items_of_Foo', f.slice('Foo', -2)).show()

获取pyspark数组类型列的最后n个元素

1 个答案: