Question

在过去的两个月中，我一直在Spark和Scala工作，并且对这种技术还很陌生。我将选择列（带有regexp_replace）框为列表[String]（），并传递给Spark Data框架创建，其引发的错误是“无法解析”。请在下面的步骤中查找，我已遵循并尝试过。

定义值：

Defining the column which I would like to identify in the src data frame
val col_name = "region_id"
Defining the column which will be used to replace the src data frame column from ref data frame
val surr_key_col_name = "surrogate_key"

我创建了两个数据框，如下所示

src_df

region id | region_name | region_code  
10001189  | Spain       |    SP09 8545  
10001765  | Africa      |    AF97 6754

ref_df

region id | surrogate_key  
1189      |    2345  
1765      |    8978

val src_df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("s3://bucket/src_details.csv")
val ref_df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("s3://bucket/ref_details.csv")

我正在反复确定需要使用reg match的列，并替换为另一个Data Frame列值，并将其存储在List中以将其传递给Data Frames select

val src_header_rec = src_df.columns.toList

//Loop through source file header to identify the region_id and replace it with surrogate_id by doing a pattern match( I don't want to replace the 
for (src_header_cols <- src_header_rec) {
if (col_name == src_header_cols) {
src_column_names :+="regexp_replace("+"$"+s""""src.$src_header_cols""""+","+"$"+s""""ref.$src_header_cols""""+","+"$"+s""""ref.$surr_key_col_name""""+")"+".as("+s""""$src_header_cols""""+")"
}
else {
src_column_names :+= "src."+src_header_cols
}
}

使用上面的for循环在列表[String]（）中建立选择列之后，我将其传递给用于final_df创建的选择列

val final_df = src_df.alias("src").join(ref_df.alias("ref"), src_df(col_name)=== ref_df(col_name),"left_outer").select(src_column_names.head,src_column_names.tail:_*)

如果我在不选择数据框的情况下直接使用列[String]（）来直接传递列，则regexp_replace替换有效

val final_df = src_df.alias("src").join(ref_df.alias("ref"), src_df(col_name)=== ref_df(col_name),"left_outer").select(regexp_replace($"src.region_id",$"ref.region_id",$"ref.surrogate_key").as("region_id"))

我不确定将其作为列表[String]（）传递时为什么不起作用

当我在for循环中删除regexp_replace替换并将其作为数据帧的列表[String]（）传递时，它可以正常工作，如下所示：

此代码与数据框选择非常匹配：

for (src_header_cols <- src_header_rec) {
if (col_name == src_header_cols) {
src_column_names :+= "ref."+surr_key_col_name
}
else {
src_column_names :+= "src."+src_header_cols
}
}

val final_df = src_df.alias("src").join(ref_df.alias("ref"), src_df(col_name)===ref_df(col_name),"left_outer").select(src_column_names.head,src_column_names.tail:_*)

我要导出的结果/输出数据帧是

final_df

region id    | region_name | region_code  
1000**2345** | Spain       |  SP09 8545  
1000**8978** | Africa      |  AF97 6754

因此，当我尝试构建Spark数据框架时，请在for循环中使用regexp_replace作为列表进行选择，并使用它，这会引发“无法解析”错误。

Answer 1

我尝试创建数据框的临时视图，并在临时视图的select语句中使用了相同的正则表达式。有效。请在下面找到我尝试并成功的代码。

//This for loop will scan through my header list and whichever column matches it frames regexp for those columns.So, the region_id from the Data Frame header matches the variable value that I have defined.
for (src_header_cols <- src_header_rec) {
    if (col_name == src_header_cols) {

        src_column_names :+= "regexp_replace(src."+s"$src_header_cols"+",ref."+s"$ref_col_name"+",ref."+s"$surr_key_col_name"+")"+s" $src_header_cols"
    }
    else {
        src_column_names :+= "src."+src_header_cols
    }
} 

//Creating Temporary view to apply SQL queries on it
src_df.createOrReplaceTempView("src")
ref_df.createOrReplaceTempView("ref")

//Framing SQL statements to be passed while querying
val selectExpr_1 = "select "+src_column_names.mkString(",")
val selectExpr_2 = selectExpr_1+" from src left outer join ref on(src."+s"$col_name"+" = ref."+s"$ref_col_name"+")"

// Creating a final Data Frame using the SQL statement created
val src_policy_masked_df = spark.sql(s"$selectExpr_2")

动态创建列名称以在创建Spark Data框架时将其传递以供选择

1 个答案: