Question

我正在使用scala汇总一个猪脚本来激发1.6，我有一个包含字符串的数据框，我想按特定顺序交换字符。
例如：

+----------------+
|            Info|
+----------------+
|8106f510000dc502|
+----------------+

我想按照这个顺序转换它[3,1,5,7,6，（8-16），4,2]

+----------------+
|            Info|
+----------------+
|08f150000dc50241|
+----------------+

这是我的猪UDF与java，它正在工作：

public class NormalizeLocInfo extends EvalFunc<String>
{
    public String exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0)
            return null;
        try{
            char [] ca = ((String)input.get(0)).toCharArray();
            return (
                    new StringBuilder().append(ca[3]).append(ca[0]).append(ca[5]).append(ca[7]).append(ca[6]).append(ca[8]).append(ca[9]).append(ca[10])
               .append(ca[11]).append(ca[12]).append(ca[13]).append(ca[14]).append(ca[15]).append(ca[16]).append(ca[4]).toString().toUpperCase()
               );
        }catch(Exception e){throw new IOException("UDF:Caught exception processing input row :"+input.get(0), e);}
    }
  }

如何使用scala将其更改为引发udf？谢谢ou

Answer 1

这是你可以在spark中为函数定义UDF函数的方法

   import org.apache.spark.sql.functions._

    val exec = udf((input : String) => {
      if (input == null || input.trim == "") ""
      else {
        Try{
          val ca = input.toCharArray
          List(3,1,5,7,6,9,10,11,12,13,14,15,16,4,2).map(a=>ca(a-1)).mkString
        } match{
          case Success(data) => data
          case Failure(e)  =>
            println(e.printStackTrace())
            ""
        }
      }
    })

您可以将withColumn（）函数用作

val dfNew = df.withColumn("newCol", exec($"oldCol"))

希望这有帮助

字符串置换火花udf

1 个答案: