Question

我正在使用BeautifulSoap批量抓取一些URL。

这是我的脚本（仅相关的内容）：

public static IEnumerable<ApiResource> GetApis()
{
   return new ApiResource[]
   {
      new ApiResource("MyApi", "My Admin API")
      {
          UserClaims =  { JwtClaimTypes.Name, JwtClaimTypes.Email }
      }
   };
}

这会根据URL的HTML进行2种不同的打印（大约半页给出第一页，其余部分给出第二页）。

这是第一种打印方式：

import urllib2
from bs4 import BeautifulSoup
quote_page = 'https://example.com/foo/bar'
page = urllib2.urlopen(quote_page)
soup = BeautifulSoup(page, 'html.parser')
url_box = soup.find('div', attrs={'class': 'player'})
print url_box

这是另一个：

<div class="player">
<video class="video-js vjs-fluid video-player" height="100%" id="some-player" poster="https://example.com/path/to/jpg/random.jpg" width="100%"></video>
<span data-type="trailer-src" data-url="https://example.com/path/to/mp4/random.mp4"></span>
</div>

我想提取图像URL，该图像URL首先是<div class="player"> <img alt="Image description here" src="https://example.com/path/to/jpg/random.jpg"/> </div>，其次是poster。

有什么想法可以做到这一点，以便相同的脚本从任何一种打印物中提取该URL？

PS的第一张照片也有一个我不需要的mp4链接。

Answer 1

确定要处理的版本并相应地进行分割：


firstVersion = '''<div class="player">
<video class="video-js vjs-fluid video-player" height="100%" id="some-player" poster="https://example.com/path/to/jpg/random.jpg" width="100%"></video>
<span data-type="trailer-src" data-url="https://example.com/path/to/mp4/random.mp4"></span>
</div>'''

secondVersion = '''<div class="player">
<img alt="Image description here" src="https://example.com/path/to/jpg/random.jpg"/>
</div>'''

def extractImageUrl(htmlInput):
    imageUrl = ""
    if "poster" in htmlInput:
        imageUrl = htmlInput.split('poster="')[1].split('"')[0]
    elif "src" in htmlInput:
        imageUrl = htmlInput.split('src="')[1].split('"')[0]
    return imageUrl

Answer 2

您可以使用get()方法从目标标记中获取attrs的值。

您应该可以执行以下操作：

if url_box.find('video'):
    url = url_box.find('video').get('poster')
    mp4 = ulr_box.find('span').get('data-url')
if url_box.find('img'):
    url = url_box.find('img').get('src')

从两个不同的BeautifulSoap输出中打印URL

2 个答案: