替换Hive表中所有列中的字符

时间:2019-04-15 22:30:13

标签: hive

我需要在Hive表中的所有列上执行正则表达式替换功能。 有没有一种方法可以对所有列执行操作而无需单独调用每个列?

2 个答案:

答案 0 :(得分:0)

使用regexp_replace。下面是Hive REGEXP_REPLACE函数的语法。 regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT);

答案 1 :(得分:0)

    val col : DataFrame = hiveContext.sql("show columns in dbname.table_name")
    val arry  = col.collectAsList().toArray

    def regexpReplace(x: AnyRef): String =
    return "select regexp_replace(" + x + ",[^0-9a-zA-Z]," + "' ')  from dbname.tbl_name"

  for(  col <- arry)
    {
      val res = regexpReplace(col.toString.substring(1,x.toString.length-1))
      sqlContext.sql(res)
    }