使用webcrawler获取数据

时间:2018-05-24 15:46:48

标签: java python web-scraping

我想创建一个网站,对人们的动物事实进行测验,我可以手动完成,但我想知道如何自动化从互联网上“检索事实”,然后自动将其输入测验。我在想,我可以构建一个网络爬虫/刮刀,从热门网站收集部分信息,然后将这些数据发送到网站,进行测验。

你将如何解决这个问题,如果有更好的方法来实现同样的想法?

PS:我是初学者,我可能没有使用正确的术语

2 个答案:

答案 0 :(得分:-1)

查找 Selenium 。它是我最喜欢的python库。它可以登录网站,点击某些元素,您可以非常轻松地获取数据。

使用 pip install selenium 下载

答案 1 :(得分:-1)

你应该看看Scrapy

  

Scrapy是一种快速的高级网络抓取和网络抓取框架,用于抓取网站并从其网页中提取结构化数据。它可用于各种用途,从数据挖掘到监控和自动化测试。

以下是文档中的一个很好的教程页面:Scrapy Tutorial