PySpark DataFrame列参考：df.col与df ['col']与F.col（'col'）？

Question

我有一个概念，希望您可以帮助澄清：

以下三种引用PySpark数据框中的列的方式有何区别？我知道不同的情况需要不同的形式，但不知道为什么。

1. df.col ：例如 F.count(df.col)
2. df ['col'] ：例如 df['col'] == 0
3. F.col（'col'）：例如 df.filter(F.col('col').isNull())

非常感谢！

Answer 1

在大多数实际应用中，几乎没有区别。但是，它们是通过调用不同的基础函数（source）来实现的，因此它们不完全相同。

我们可以举一个小例子来说明：

df = spark.createDataFrame(
    [(1,'a', 0), (2,'b',None), (None,'c',3)], 
    ['col', '2col', 'third col']
)

df.show()
#+----+----+---------+
#| col|2col|third col|
#+----+----+---------+
#|   1|   a|        0|
#|   2|   b|     null|
#|null|   c|        3|
#+----+----+---------+

---

1。 df.col

这是最不灵活的。您只能引用可以使用.运算符访问的有效列。这样可以排除包含空格或特殊字符的列名称以及以整数开头的列名称。

此语法调用df.__getattr__("col")。

print(df.__getattr__.__doc__)
#Returns the :class:`Column` denoted by ``name``.
#
#        >>> df.select(df.age).collect()
#        [Row(age=2), Row(age=5)]
#
#        .. versionadded:: 1.3

使用.语法，您只能访问此示例数据框的第一列。

>>> df.2col
  File "<ipython-input-39-8e82c2dd5b7c>", line 1
    df.2col
       ^
SyntaxError: invalid syntax

在后台，它检查列名是否包含在df.columns中，然后返回指定的pyspark.sql.Column。

2。 df["col"]

这将呼叫df.__getitem__。您具有更大的灵活性，因为您可以做__getattr__可以做的所有事情，还可以指定任何列名。

df["2col"]
#Column<2col> 

再次在幕后检查一些条件，在这种情况下，将返回由输入字符串指定的pyspark.sql.Column。

此外，您可以传递多个列（作为list或tuple）或列表达式。

from pyspark.sql.functions import expr
df[['col', expr('`third col` IS NULL')]].show()
#+----+-------------------+
#| col|(third col IS NULL)|
#+----+-------------------+
#|   1|              false|
#|   2|               true|
#|null|              false|
#+----+-------------------+

请注意，在多列的情况下，__getitem__只是在调用pyspark.sql.DataFrame.select。

最后，您还可以按索引访问列：

df[2]
#Column<third col>

3。 pyspark.sql.functions.col

这将基于给定名称返回Column。当您需要指定要使用列而不是字符串文字时，这是有用的速记。

例如，假设我们想创建一个新列，该列将基于"col"的值采用"third col"或"2col"的值：

from pyspark.sql.functions import when

df.withColumn(
    'new', 
    f.when(df['2col'].isin(['a', 'c']), 'third col').otherwise('col')
).show()
#+----+----+---------+---------+
#| col|2col|third col|      new|
#+----+----+---------+---------+
#|   1|   a|        0|third col|
#|   2|   b|     null|      col|
#|null|   c|        3|third col|
#+----+----+---------+---------+

糟糕，这不是我的意思。 Spark认为我需要文字字符串"col"和"third col"。相反，我应该写的是：

from pyspark.sql.functions import col
df.withColumn(
    'new', 
    when(df['2col'].isin(['a', 'c']), col('third col')).otherwise(col('col'))
).show()
#+----+----+---------+---+
#| col|2col|third col|new|
#+----+----+---------+---+
#|   1|   a|        0|  0|
#|   2|   b|     null|  2|
#|null|   c|        3|  3|
#+----+----+---------+---+