Webscrape足球赔率,您将如何处理这个项目?

时间:2018-05-30 20:43:13

标签: python selenium web-scraping web-crawler

作为一名技术熟练的程序员,您如何在网站上搜索网站以获取所有足球赔率?

我正在尝试创建一个网络刮刀&让朋友分析来自所有www.cashpoint.com的足球联赛的赔率。

作为一名新程序员,我现在意识到这项任务比我想象的要大。该网站包含javascript,并且不仅仅有一个网站需要抓取。 我已经熟悉了python 3,网页抓取和网页抓取,通过关注youtube上的教程,并制作了一些简单的小型网页漫画。 我想问一个更熟练的程序员,你如何处理这个项目,制作一个程序来擦除所有足球比赛,然后将信息保存到数据库。

我正在考虑通过https://www.cashpoint.com进行网络抓取,并收集包含赔率的网站的链接。我会用bucky的蜘蛛来做这件事:https://github.com/buckyroberts/Spider。 收集链接后,我会使用Selenium和xpath抓取页面,并将信息存储到数据库中。我一直在关注gingeleski的源代码(https://github.com/gingeleski/odds-portal-scraper 这正是这个,只是来自另一个网站。基本上你把链接放到一个文件中它会刮掉几率并提取到一个mysql数据库中。 我想到的另一种方法是通过seleniums webdriver迭代联盟: 示例单击左侧菜单栏。

webdriver.Chrome(chromedriver)
driver.get('https://www.cashpoint.dk/en/site/index.html')
driver.find_element_by_id('left_menu_sports_id1008').click()

然后将此信息存储到数据库中。

我很乐意听到并向程序员学习如何处理这个项目。

非常感谢您阅读本文!

来自基督徒的问候

0 个答案:

没有答案