Question

我有一个火花数据框，其中一列包含字符串值（即＆＃39; xyztext \ afadfa＆＃39;）。我希望创建一个新列，其值为＆＃39; 0＆＃39; 0或者＆＃39; 1＆＃39;取决于原始列是否包含某些文本（即＆＃39; text＆＃39;）

结果示例：

## +---+---+------+---------+
## | x1| x2|   x3 | xnew    |
## +---+---+------+---------+
## |  1|  a| xtext|    1    |
## |  3|  B| abcht|    0    |

编辑：我之前尝试过这个（现在已经添加了.cast（int）），这要归功于SGVD，但是接收＆＃39;列不可调用＆＃39;插入列名时出错： df1 = df.withColumn（＆＃39; Target＆＃39;，df.column.contains（＆＃39; text＆＃39;）。cast（＆＃39; int＆＃39;））

到目前为止，我所取得的最好成绩是创建一个包含0的列：

from pyspark.sql.functions import lit
df1 = df.withColumn('Target', lit(0))

我还尝试了if then else语句来创建向量但是没有运气：

 def targ(string):
     if df.column.contains('text'): return '1'
     else: return '0'

Answer 1

Spark列有一个cast方法在类型之间强制转换，你可以将一个布尔类型转换为一个整数，其中True强制转换为1和False为0。在Scala中，您可以使用Column#contains来检查子字符串。 PySpark没有这种方法，但您可以改为使用instr函数：

import pyspark.sql.functions as F
df1 = df.withColumn('Target', (F.instr(df.column, 'text') > 0).cast('int'))

您也可以将此函数编写为SQL表达式：

df1 = df.withColumn('Target', F.expr("INSTR(column, 'text') > 0").cast('int'))

或者，完全在SQL中没有强制转换：

df1 = df.withColumn('Target', F.expr("IF(INSTR(column, 'text') > 0, 1, 0)"))

使用Spark Dataframe中的函数基于另一列的字符串搜索创建新列

1 个答案: