Question

PostgreSQL的ARRAY_TO_STRING()功能允许您运行

SELECT array_to_string(ARRAY[1, 2, 3, NULL, 5], ',', '*');

并给你

array_to_string

-----------------
1,2,3,*,5
(1 row)

我们可以使用Spark SQL做同样的事吗？

我真正需要的是让JSON结构保持为字符串。谢谢！

Answer 1

如果不编写udf，最接近的事情是concat_ws：

from pyspark.sql import functions as F

rdd = sc.parallelize(["""{"foo": 1.0, "bar": [1, 2, 3, null, 5]}"""])

spark.read.json(rdd).withColumn("bar", F.concat_ws(",", "bar")).show()
# +-------+---+
# |    bar|foo|
# +-------+---+
# |1,2,3,5|1.0|
# +-------+---+

但是你看到它会忽略空值。使用udf，您可以

@F.udf
def array_to_string(xs, sep, nafill):
    return sep.join(str(x) if x is not None else str(nafill) for x in xs)

spark.read.json(rdd).withColumn("bar", array_to_string("bar", F.lit(","), F.lit("*"))).show()
# +---------+---+
# |      bar|foo|
# +---------+---+
# |1,2,3,*,5|1.0|
# +---------+---+

但是如果：

我真正需要的是让JSON结构保持为字符串

然后不解析它。例如，如果您使用JSON阅读器：

from pyspark.sql.types import *

(spark.read
    .schema(StructType([StructField("foo", StringType()), StructField("bar", StringType())]))
    .json(rdd)
    .show())
# +---+--------------+
# |foo|           bar|
# +---+--------------+
# |1.0|[1,2,3,null,5]|
# +---+--------------+

Spark SQL中的ARRAY_TO_STRING

1 个答案: