如何抓取这个标签

Question

我正在尝试抓取一个真实的状态网络，但我无法抓取它。

这就是我想要的：

这是我的代码的样子：

URL = requests.get('https://www.fincaraiz.com.co/finca-raiz/venta/cali/?ad=30|1||||1|||||82|8200006||||||||||||||||1|||1||griddate%20desc||||||||',headers = headers)
soup = BeautifulSoup(URL,'lxml')
anuncios = soup.find_all('ul', attrs={'class':'advert  Product_Code_ AD_OV'})
print(anuncios)

Answer 1

将 URL.content 变量传递给 URL 时添加 BeautifulSoup()。

您可以使用此示例如何从页面获取数据：

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:88.0) Gecko/20100101 Firefox/88.0"
}

url = requests.get(
    "https://www.fincaraiz.com.co/finca-raiz/venta/cali/?ad=30|1||||1|||||82|8200006||||||||||||||||1|||1||griddate%20desc||||||||",
    headers=headers,
)
soup = BeautifulSoup(url.content, "lxml")
anuncios = soup.select("ul.advert.Product_Code_.AD_OV")

# print some data:
for a in anuncios:
    print(a.h2.get_text(strip=True))

打印：

Apartamento en Cencar Yumbo
Apartamento en Zona Sur
Apartamento en Santa Teresita
Apartamento en Prados Del Norte
Apartamento en Bella Suiza
Apartamento en El Refugio
Apartamento en Pance
Casa en Las Delicias
Apartamento en Valle Del Lili
Apartamento en Santa Rita
Apartamento en Cristales
Apartamento en Pance
Apartaestudio en Pance
Apartamento en Las Vegas De Comfandi
Apartaestudio en Bella Suiza
Apartamento en Santa Monica
Apartamento en Valle Del Lili

...and so on.