Question

我们在生产环境中遇到问题，CPU利用率为100％，并且线程转储显示我们的“黑名单”实施仍然存在。

[11/14/13 10:12:42:745 CST] 0000000d ThreadMonitor W   WSVR0605W: Thread "Thread-002" (0000003b) has been active for 604063 milliseconds and may be hung.  There is/are 1 thread(s) in total in the server that may be hung.
    at java.lang.Character.isLetterOrDigit(Character.java:3516)
    at java.util.regex.Pattern$Bound.check(Pattern.java:4820)
    at java.util.regex.Pattern$Bound.match(Pattern.java:4832)
    at java.util.regex.Pattern$Curly.match0(Pattern.java:3782)
    at java.util.regex.Pattern$Curly.match(Pattern.java:3744)
    at java.util.regex.Pattern$BmpCharProperty.match(Pattern.java:3366)
    at java.util.regex.Pattern$Curly.match0(Pattern.java:3782)
    at java.util.regex.Pattern$Curly.match(Pattern.java:3744)
    at java.util.regex.Matcher.match(Matcher.java:1127)
    at java.util.regex.Matcher.matches(Matcher.java:502)

问题是这并不总是意味着它是数据相关的，我们在黑名单实现中有以下正则表达式列表。

如果有人能够分辨出以下哪个正则表达式可能会导致100％的CPU（我会猜测由于回溯），我将不胜感激。

# zero/null bytes 
.*\x00.*

# javascript
.*\bjavascript\b.* &&! ^[\w.,;/*+= -]*\b(:?application/x-javascript|text/javascript)\b[\w.,;/*+= -]*$
# vbscript
.*\bvbscript\b.*

# <script or </script>
.*<\s*/?\s*script\b.*|.*\bscript\s*>.*
# <img or </img>
.*<\s*/?\s*img\b.*|.*\bimg\s*>.*
# <div or </div>
.*<\s*/?\s*div\b.*|.*\bdiv\s*>.*
# <html or </html>
.*<\s*/?\s*html\b.*|.*\bhtml\s*>.*
# <body or </body>
.*<\s*/?\s*body\b.*|.*\bbody\s*>.*
# <link or </link>
.*<\s*/?\s*link\b.*|.*\blink\s*>.* &&! ^<\?xml .*$
# <meta or </meta>
.*<\s*/?\s*meta\b.*|.*\bmeta\s*>.*
# <base or </base>
.*<\s*/?\s*base\b.*|.*\bbase\s*>.*
# <span or </span>
.*<\s*/?\s*span\b.*|.*\bspan\s*>.*
# <input or </input>
.*<\s*/?\s*input\b.*|.*\binput\s*>.*
# <style or </style>
.*<\s*/?\s*style\b.*|.*\bstyle\s*>.*
# <table or </table>
.*<\s*/?\s*table\b.*|.*\btable\s*>.*
# <embed or </embed>
.*<\s*/?\s*embed\b.*|.*\bembed\s*>.*
# <frame or </frame>
.*<\s*/?\s*frame\b.*|.*\bframe\s*>.*
# <iframe or </iframe>
.*<\s*/?\s*iframe\b.*|.*\biframe\s*>.*
# <object or </object>
.*<\s*/?\s*object\b.*|.*\bobject\s*>.*

# < onload= >
.*<.+\bonload\s*=.+>.*
# < onerror= >
.*<.+\bonerror\s*=.+>.*
# < onmouseover= >
.*<.+\bonmouseover\s*=.+>.*
# < src= >
.*<.+\bsrc\s*=.+>.*
# < href= >
.*<.+\bhref\s*=.+>.*
# < style= >
.*<.+\bstyle\s*=.+>.*
# < content= >
.*<.+\bcontent\s*=.+>.*

# document.
.*\bdocument\s*\..+
# element.
.*\belement\s*\..+

# url(
.*\burl\s*\(.+
# eval(
.*\beval\s*\(.+
# alert(
.*\balert\s*\(.+

# /* */
.*/\*.*\*/.*


# HTTP response splitting
.*\bHTTP/\d+\.\d+.+


# Path traversal
#.*\.\.[/\\].*
.*\.\.[/\\]\.\.[/\\].*


# SQL injection (probably not very useful)

# from HttpServletBase.java
.*select\s+\S*\s*from\s+\S+(?:\s+where\s+.+)?.*
.*insert\s+\S*\s*into\s+\S+(?:\s+values\s+.+)?.*
.*update\s+\S*\s*set\s+\S+(?:\s+where\s+.+)?.*
.*delete\s+\S*\s*from\s+\S+(?:\s+where\s+.+)?.*

Answer 1

正如我在评论中所说，正确测试数据是真正了解哪个正则表达式存在问题的唯一方法。但我认为有些东西我可以查明，你可以调查一下。基本上，要小心点运算符。

看看：

.*<.+\bonload\s*=.+>.*

我想你想找到任何包含“onload”的HTML标签。问题是，如果你有大量标签的数据，而且没有包含“onload”的数据，它会这样做：

找到第一个<
浏览字符串的其余部分以找到“\ bonload”
由于找不到任何内容，请回溯并尝试使用字符串中的以下<。

因此，对于字符串中的每个标记都会重复此操作，因此如果字符串很长，则第2步可能会很昂贵。您可以通过将.+替换为[^>]+（即除了>之外的任何内容）来阻止它超越标记的末尾，从而进行优化。

因此以下正则表达式应该表现得更好：

.*<[^>]+\bonload\s*=.+>.*

此外，遵循“最快的代码是不运行的代码”的一般原则，您可以在使用正则表达式之前查看字符串是否包含带有简单字符串搜索的字符串“onload”。

Answer 2

我可能错了，但正则表达式不会让你免于XSS攻击，因为它们可能非常棘手：XSS Filter Evasion Cheat Sheet。您可能需要查看OWASP's HTML sanitizer。

对于我项目中的类似问题，我提出了一个解决方案，它结合了JSoup来解析HTML和正则表达式以匹配属性和文本中的字符串（我当时不知道这个OWASP工具）。

正则表达式高CPU

2 个答案: