提取正则表达式匹配的一部分

时间:2009-08-25 10:24:59

标签: python html regex html-content-extraction

我想要一个正则表达式从HTML页面中提取标题。目前我有这个:

title = re.search('<title>.*</title>', html, re.IGNORECASE).group()
if title:
    title = title.replace('<title>', '').replace('</title>', '') 

是否有正则表达式只提取&lt; title&gt;的内容所以我不必删除标签?

12 个答案:

答案 0 :(得分:132)

在regexp中使用( ),在python中使用group(1)来检索捕获的字符串(re.search如果找不到结果将返回None ,所以不要直接使用group() ):

title_search = re.search('<title>(.*)</title>', html, re.IGNORECASE)

if title_search:
    title = title_search.group(1)

答案 1 :(得分:35)

请不要使用正则表达式来解析标记语言。使用lxml或beautifulsoup。

答案 2 :(得分:6)

尝试使用捕获组:

title = re.search('<title>(.*)</title>', html, re.IGNORECASE).group(1)

答案 3 :(得分:3)

re.search('<title>(.*)</title>', s, re.IGNORECASE).group(1)

答案 4 :(得分:2)

尝试:

title = re.search('<title>(.*)</title>', html, re.IGNORECASE).group(1)

答案 5 :(得分:2)

我可以向你推荐美味汤。 Soup是一个非常好的lib来解析你的所有html文档。

soup = BeatifulSoup(html_doc)
titleName = soup.title.name

答案 6 :(得分:2)

提供的代码片段无法处理Exceptions 我可以建议

getattr(re.search(r"<title>(.*)</title>", s, re.IGNORECASE), 'groups', lambda:[u""])()[0]

如果未找到模式或第一次匹配,则默认返回空字符串。

答案 7 :(得分:1)

我认为这应该足够了:

#!python
import re
pattern = re.compile(r'<title>([^<]*)</title>', re.MULTILINE|re.IGNORECASE)
pattern.search(text)

...假设您的文本(HTML)位于名为“text。”的变量中。

这也假设没有其他HTML标签可以合法地嵌入HTML TITLE标签内,并且无法合法地嵌入任何其他的&lt;这样一个容器/块内的字符。

然而 ......

不要在Python中使用正则表达式进行HTML解析。使用HTML解析器! (除非你要编写一个完整的解析器,当各种HTML,SGML和XML解析器已经在标准库中时,这将是一项额外的工作。

如果您处理“真实世界”标记汤 HTML(通常不符合任何SGML / XML验证程序),请使用BeautifulSoup包。它不在标准库中(但是),但是为此目的广泛推荐。

另一种选择是:lxml ...这是为正确结构化(符合标准的)HTML而编写的。但它可以选择回退使用BeautifulSoup作为解析器:ElementSoup

答案 8 :(得分:0)

请注意,从Python 3.8开始并引入assignment expressions (PEP 572):=运算符)后,可以通过直接在如果条件作为变量并在条件主体中重复使用:

# pattern = '<title>(.*)</title>'
# text = '<title>hello</title>'
if match := re.search(pattern, text, re.IGNORECASE):
  title = match.group(1)
# hello

答案 9 :(得分:0)

KrzysztofKrasoń目前票选最高的答案以<title>a</title><title>b</title>失败。而且,例如出于行长原因,它忽略跨越线边界的标题标签。最后,它失败并显示<title >a</title>(有效的HTML:White space inside XML/HTML tags)。

因此,我提出以下改进:

import re

def search_title(html):
    m = re.search(r"<title\s*>(.*?)</title\s*>", html, re.IGNORECASE | re.DOTALL)
    return m.group(1) if m else None

测试用例:

print(search_title("<title   >with spaces in tags</title >"))
print(search_title("<title\n>with newline in tags</title\n>"))
print(search_title("<title>first of two titles</title><title>second title</title>"))
print(search_title("<title>with newline\n in title</title\n>"))

输出:

with spaces in tags
with newline in tags
first of two titles
with newline
  in title

最终,我和其他人一起推荐HTML解析器-不仅可以处理HTML标签,而且还可以处理HTML标签的非标准用法。

答案 10 :(得分:0)

为什么没有人建议使用前瞻和后视,有什么特别的原因吗?我来到这里尝试做完全相同的事情,(?<=<title>).+(?=<\/title>) 效果很好。它只会匹配括号之间的内容,因此您不必做整个组的事情。

答案 11 :(得分:0)

我需要匹配 package-0.0.1(名称、版本)但想要拒绝无效版本,例如 0.0.010

参见 regex101 示例。

import re

RE_IDENTIFIER = re.compile(r'^([a-z]+)-((?:(?:0|[1-9](?:[0-9]+)?)\.){2}(?:0|[1-9](?:[0-9]+)?))$')

example = 'hello-0.0.1'

if match := RE_IDENTIFIER.search(example):
    name, version = match.groups()
    print(f'Name:     {name}')
    print(f'Version:  {version}')
else:
    raise ValueError(f'Invalid identifier {example}')

输出:

Name:     hello
Version:  0.0.1