Spark parse_url不适用于管道“ |”

时间:2019-08-05 20:42:08

标签: apache-spark apache-spark-sql parse-url

在spark中使用parse_url遇到麻烦,特别是当字符串具有管道“ |”时在里面。不知道它是否被解释为转义字符或类似的东西。下面的示例。

有什么方法可以解决这个问题,而又不涉及我用其他东西替换管道然后又回到管道?

%sql
SELECT  
  parse_url('http://spark.apache.org/path?s_sid=5&s_agid=47578939194&s_aid=245049746311&s_tgtid=kwd-340935275208&s_cid=mpg-gog', 'QUERY') AS query
UNION ALL
SELECT
  parse_url('http://spark.apache.org/path?s_sid=5&s_agid=47578939194&s_aid=245049746311&s_tgtid=kwd-340935275208&s_cid=mpg|gog', 'QUERY') AS query

返回

query
s_sid=5&s_agid=47578939194&s_aid=245049746311&s_tgtid=kwd-340935275208&s_cid=mpg-gog
null

This is not a pipe

0 个答案:

没有答案