从类型的字符串中提取URL

时间:2011-10-14 12:46:53

标签: regex url scala hyperlink lift

我正在尝试从字符串中提取网址,它们不是标准化的,因此有些属于href标记,有些属于自己。

此外,我需要按类型对它们进行排序,例如以下字符串:

var txt1: String = "Some text! <a href="http://www.google.com/test.mp3">MP3</a>"
var txt2: String = "Some text! <a href="http://www.google.com/test.jpg">IMG</a>"
var txt3: String = "Some more! <a href="http://www.google.com/">Link!</a>"

所以这些字符串都连接在一起并包含3个网址,我正在寻找以下内容:

var result: List = List(

    "mp3" -> List("http://www.google.com/test.mp3"),
    "img" -> List("http://www.google.com/test.jpg"),
    "url" -> List("http://www.google.com/")
)

我已经研究过正则表达式,但只是在没有定义类型的情况下提取hrefs,而且这也没有在标签之外自己检索网址

val hrefRegex = new Regex("""\<a.*?href=\"(http:.*?)\".*?\>.*?\</a>""");
val hrefs:List[String]= hrefRegex.findAllIn(txt1.mkString).toList;

非常感谢任何帮助,在此先感谢:)

1 个答案:

答案 0 :(得分:5)

假设val txt = txt1 + txt2 + txt3,您可以将文本作为字符串包装到xml元素中,然后将其解析为XML并使用xml标准库来提取锚点。

// can do other cleanup if necessary here such as changing "link!"
def normalize(t: String) = t.toLowerCase()

val txtAsXML = xml.XML.loadString("<root>" + txt + "</root>")
val anchors = txtAsXML \\ "a"
// returns scala.xml.NodeSeq containing the <a> tags

然后您只需要发布流程,直到您按照自己的意愿组织数据:

val tuples = anchors.map(a => normalize(a.text) -> a.attributes("href").toString)
// Seq[String, String] containing elements
// like "mp3" -> http://www.google.com/test.mp3

val byTypes = tuples.groupBy(_._1).mapValues(seq => seq.map(_._2))
// here grouped by types:
// Map(img -> List(http://www.google.com/test.jpg), 
//     link! -> List(http://www.google.com/),
//     mp3 -> List(http://www.google.com/test.mp3))