无法从网站抓取电话号码

时间:2020-03-10 22:41:57

标签: python web-scraping

因此,我一直在尝试从涉及房地产(租赁/购房,公寓等)交易的网站中提取每个电话号码。

每个类别中都有很多类别(城市,属性类型)和广告。每当您输入广告时,底部显然都会有更多图片,说明和电话号码。

这是有问题的网站。 https://www.nekretnine.rs/

我写了一个python脚本,应该提取这些电话号码,但是却什么也没给我。这是脚本。

我认为它无法从主页中查找该信息,并且该信息不存在,但是我无法弄清楚如何在我的循环中包括所有这些类别中的所有这些广告。甚至不问有关API的问题,它们根本没有。我的意思是,我使用原始的,不眠之夜的脚本使他们的网站崩溃了。

for i in range (1,50):

    url = ("https://www.nekretnine.rs/"+ str(i))
    page = urlopen(url)
    soup = BeautifulSoup(page)
    x = soup.find_all("div", {"class":"label-small"})
    time.sleep (2)
    for item in x:
        number =item.find_all("form",attrs = {"span":"cell-number"})[0].text
        data.append((number ))
        print (data)

2 个答案:

答案 0 :(得分:0)

如果您所需的内容不在主页上,则应使用beautifulsoup查找到所需其他页面的链接,然后发布请求以获取该html并在此处查找信息

答案 1 :(得分:0)

对于在这里绊脚的人,我找到了答案

https://webscraper.io/

此浏览器脚本具有我所需的一切,它很简单,不需要编码,如果需要,可以减去一些正则表达式