Sparksql在特殊位置后剪切字符串

Question

您好我想要做的是剪切一个URL，使其全部采用特定格式。 在片刻，我的URL看起来像这样。

[https://url.com/xxxxxxx/xxxxx/xxxxxx]

我只想在第三个之后剪切所有内容并且只计算我的数据，这样我就可以了解我的数据中有多少URL。

我希望有人可以帮助我

Answer 1

用户定义的函数（UDF）就是您所需要的。假设您有以下输入：

case class Data(url: String)
val urls = sqlContext.createDataFrame(Seq(Data("http://google.com/q=dfsdf"), Data("https://fb.com/gsdgsd")))
urls.registerTempTable("urls")

现在您可以定义仅从URL获取主机名的UDF：

def getHost(url: String) = url.split('/')(2) //naive implementation, for example only
sqlContext.udf.register("getHost", getHost _)

使用SQL转换数据：

val hosts = sqlContext.sql("select getHost(url) as host from urls")
hosts.show()

结果：

+----------+
|      host|
+----------+
|google.com|
|    fb.com|
+----------+

如果您更喜欢Scala DSL，也可以使用UDF：

import org.apache.spark.sql.functions.udf
val getHostUdf = udf(getHost _)
val urls = urls.select(getHostUdf($"url") as "host")

结果将完全相同。