我需要在Hive表中的所有列上执行正则表达式替换功能。 有没有一种方法可以对所有列执行操作而无需单独调用每个列?
答案 0 :(得分:0)
使用regexp_replace。下面是Hive REGEXP_REPLACE函数的语法。
regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT);
答案 1 :(得分:0)
val col : DataFrame = hiveContext.sql("show columns in dbname.table_name")
val arry = col.collectAsList().toArray
def regexpReplace(x: AnyRef): String =
return "select regexp_replace(" + x + ",[^0-9a-zA-Z]," + "' ') from dbname.tbl_name"
for( col <- arry)
{
val res = regexpReplace(col.toString.substring(1,x.toString.length-1))
sqlContext.sql(res)
}