Question

我想从一堆.html文件中删除所有内部链接。基本的想法是，以<a href=开头的任何内容都是链接，如果不以<a href="http开头，那么它就是内部链接。

我正在尝试编写一个小小的Python脚本来实现这一目标。现在每个文件的前半部分都完美地完成，但它在同一个链接上一直崩溃。我显然检查了错别字或丢失了</a>，但我没有看到。如果我重新运行脚本，“问题链接”将被删除，但其</a>仍然存在。似乎越来越多的链接通过重新运行脚本被删除但我希望所有内部链接在一次运行中被删除

有人建议我做错了什么吗？请参阅下面的我正在使用的代码。

tList = [r"D:\@work\projects_2013\@websites\pythonforspss\a44\@select-variables-having-pattern-in-names.html"]
for path in tList:
    readFil = open(path,"r")
    writeFil = open(path[:path.rfind("\\") +1] + "@" + path[path.rfind("\\") + 1:],"w")
    flag = 0
    for line in readFil:
        for ind in range(len(line)):
            if flag == 0:
                try:
                    if line[ind:ind + 8].lower() == '<a href=' and line[ind:ind + 13].lower() != '<a href="http':
                      flag = 1
                      sLine = line[ind:]
                      link = sLine[:sLine.find(">") + 1]
                      line = line.replace(link,"")
                      print link
                except:
                    pass
            if flag == 1:
                try:
                    if line[ind:ind + 4].lower() == '</a>':
                        flag = 0
                        line = line.replace('</a>',"")
                        print "</a>"
                except:
                    pass
        writeFil.write(line)
    readFil.close()
    writeFil.close()

Answer 1

使用像BeautifulSoup或lxml这样的HTML解析器。使用lxml，您可以执行以下操作：

import lxml.html as LH

url = 'http://stackoverflow.com/q/15186769/190597'
doc = LH.parse(url)

# Save a copy of the original just to compare with the altered version, below
with open('/tmp/orig.html', 'w') as f:
    f.write(LH.tostring(doc))

for atag in doc.xpath('//a[not(starts-with(@href,"http"))]'):
    parent = atag.getparent()
    parent.remove(atag)

with open('/tmp/altered.html', 'w') as f:
    f.write(LH.tostring(doc))

BeautifulSoup中的等价物如下所示：

import bs4 as bs
import urllib2

url = 'http://stackoverflow.com/q/15186769/190597'
soup = bs.BeautifulSoup(urllib2.urlopen(url))

with open('/tmp/orig.html', 'w') as f:
    f.write(str(soup))

for atag in soup.find_all('a', {'href':True}):
    if not atag['href'].startswith('http'):
        atag.extract()

with open('/tmp/altered.html', 'w') as f:
    f.write(str(soup))

Answer 2

    query = input('Enter the word to be searched:')
url = 'https://google.com/search?q=' + query
request_result = req.get(url).text
soup = BS(request_result, 'lxml')
for link in soup.find_all('a', href= re.compile("https://")):
    print(link['href'].replace("/url?q=",""))

我在 Beautiful Soup 中使用了上面的代码，并且仅成功返回了 https 链接。

我尝试了上面发布的解决方案，但它对我不起作用实际上在使用上面的代码后我的链接在很大程度上减少了。

希望这会有所帮助！

通过Python字符串替换从一堆.html文件中删除所有内部链接

2 个答案: