Java jsoup链接忽略

时间:2016-03-07 09:23:39

标签: java html parsing jsoup

我有以下代码:

private static final Pattern FILE_FILTER = Pattern.compile(
        ".*(\\.(css|js|bmp|gif|jpe?g|png|tiff?|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" +
                "|rm|smil|wmv|swf|wma|zip|rar|gz))$");

private boolean isRelevant(String url) {
    if (url.length() < 1)  // Remove empty urls
        return false;
    else if (FILE_FILTER.matcher(url).matches()) {
        return false;
    }
    else
        return TLSpecific.isRelevant(url);
}

我在解析网站时使用这个部分来检查它是否包含包含声明的一些模式的链接,但我不知道有没有办法直接通过jsoup并优化代码。例如,给定一个网页,我怎么能用jsoup忽略所有这些?

1 个答案:

答案 0 :(得分:3)

  

如何用jsoup忽略所有这些?

假设我们希望任何元素在hrefsrc属性中没有jpg或jpeg扩展名。

String filteredLinksCssQuery = "[href]:not([href~=(?i)\\.jpe?g$]), " + //
                               "[src]:not([src~=(?i)\\.jpe?g$])";

String html = "<a href='foo.jpg'>foo</a>" + //
              "<a href='bar.svg'>bar</a>" + //
              "<script src='baz.js'></script>";

Document doc = Jsoup.parse(html);

for(Element e: doc.select(filteredLinksCssQuery)) {
    System.out.println(e);
}

输出

<a href="bar.svg">bar</a>
<script src="baz.js"></script>
[href]                      /* Select any element having an href attribute... */
:not([href~=(?i)\.jpe?g$])  /* ... but exclude those matching the regex (?i)\.jpe?g$ */
,                           /* OR */
[src]                       /* Select any element having a src attribute... */
:not([src~=(?i)\.jpe?g$])   /* ... but exclude those matching the regex (?i)\.jpe?g$ */

您可以添加更多扩展程序以进行过滤。您可能希望编写一些代码以自动生成filteredLinksCssQuery,因为此CSS查询很快就会变得无法维护。