PySpark：map / filter与list comprehension

Question

在性能，稳定性或其他方面，使用Python函数map和filter与Spark udf中的列表推导相比，是否有任何优点或缺点？我有Python背景，刚开始使用PySpark。我发现了一些使用map和filter操作Spark udf（pyspark.sql.functions.udf）内部列表的示例，我想知道它是否只是选择问题（更多类似Hadoop的样式）或者比列表推导更有效。如果重要，我会使用Spark 1.6。谢谢！