Question

我有一个pyspark数据框，看起来像这样：

df:
+----+--------------------+
|  ID|               Email|
+----+--------------------+
|2345|  sample@example.org|
|2398| sample2@example.org|
|2328|   sampleexample.org|
|3983|   sample@exampleorg|
+----+--------------------+

我想将正则表达式应用于上述数据框（电子邮件列），并根据匹配结果（真或假）添加新列。我的正则表达式如下：

regex = '^\w+([\.-]?\w+)*@\w+([\.-]?\w+)*(\.\w{2,3})+$'

基本上检查它是否是有效的电子邮件。所需的输出是：

df2:
+----+--------------------+--------+
|  ID|               Email| Matched|
+----+--------------------+--------+
|2345|  sample@example.org|    True|
|2398| sample2@example.org|    True|
|2328|   sampleexample.org|   False|
|3983|   sample@exampleorg|   False|
+----+--------------------+--------+

我只知道数据帧filter会删除那些与模式不匹配且不是理想结果的数据帧。我还考虑过使用该正则表达式作为函数并将其应用于电子邮件列，并执行以下操作：

def check(email):  
    if(re.search(regex, email)):  
        return True
    else:  
        return False
udf_check_email = udf(check, BooleanType())
df.withColumn('matched', udf_check_email(df.email)).show()

但是我不确定这是否是最有效的方法。有什么建议吗？

Answer 1

我们可以将SQL rlike函数用作

df = df.withColumn('matched',F.when(df.email.rlike('^\w+([\.-]?\w+)*@\w+([\.-]?\w+)*(\.\w{2,3})+$'),True).otherwise(False))

检查pyspark列是否与正则表达式匹配，并根据结果创建新列

1 个答案: