如何抓取使用class =“ category”而不是href链接的网站?

时间:2018-10-26 02:41:35

标签: web-scraping

我正在尝试编译Zapier提供集成的应用程序的所有标题的完整列表。列表开始于

https://zapier.com/apps

快速Crtl + u揭示了应用程序标题列表被分成使用以下“链接”结构的类别。

<a class="zapbook-categories__category" tabindex="0" role="button" style="cursor: pointer;">[category name]</a>

标题具有以下结构。

<span class="app-list__app-title">[title]</span>

您会注意到,没有href标记表示它们实际上是链接。到目前为止,我一直在使用webscraper.io,并且a标签的这种有趣用法使得很难获得标题。

我见过“ Scrape links from a website - can't see href”,但是这种情况看起来好像他们在使用表单而不是类将<a ... >变成超链接。

在这种情况下,如何抓取标题列表?也许在《美丽汤》中?

请明确说明,这是出于学术目的。我不会对这些数据进行任何有害或恶意的操作,只是通过有趣的设置得到了nerd sniped

Zapier团队注意事项:

感谢您建立网站的有趣结构,希望您对我的工作不感兴趣!

0 个答案:

没有答案