使用Python 2.7 Scrape / Parse赔率

时间:2012-03-19 18:07:19

标签: javascript python web-scraping python-2.7

我正在尝试使用Python 2.7创建一个程序,该程序从不同的投注网站(例如betfair,ladbrokes等)检索投注赔率以进行统计分析。我对python很新(我与所有的I.T术语都很挣扎)但是我做了一些研究并提出了以下结构。

from urllib import urlopen
import re

response = urlopen('http://beta.betfair.com/football/event?id=26821411')
html = response.read()

jay = re.compile(b'.*id="m57290-sel1_105142518-58805-0-back"><span class="price">(.*)</span></button>')

jay2 = re.findall(jay,html)

print(jay2)

本来应该去betfair网站拉一定赔率并打印出来,但我什么都没得到!

我也试图加入Beautifulsoup,但我的Mac似乎没有正确安装或其他东西。我一直在

  

“ImportError:没有名为beautifulsoup的模块”

当我尝试从BeautifulSoup导入BeautifulSoup时。我尝试使用easyinstall进行安装,我也运行了setup.py脚本 类似的scrapy场景。
我做了一些进一步的研究,Java / javascript经常出现...
有人可以帮忙吗?

提前致谢

3 个答案:

答案 0 :(得分:1)

我发现当我的Mac上有多个版本的Python时,定位哪个版本我想要安装模块是很棘手的。我通过使用virtualenv绕过它,然后使用pip逐个安装我需要的模块。以下是virtualenv的介绍:http://simononsoftware.com/virtualenv-tutorial/

基本上,一旦安装了virtualenv,就可以创建一个与其他所有东西隔离的独立python环境。这个过程在终端窗口中如下所示:

创建虚拟Python环境

$ virtualenv --python=python2.7 env

激活它(所以它现在是PATH中的默认“python”)

$ source env/bin/activate

安装一些东西(注意你不需要“sudo”,因为这是你正在使用的任何目录中的本地python安装)

$ pip install scrapy

暂时完成虚拟Python环境后,请按以下方式停用:

$ deactivate

答案 1 :(得分:0)

每次调用页面时“back-cell”ID都会更改, 所以你现有的正则表达式总是会失败 你使用什么框架。

答案 2 :(得分:0)

大多数博彩网站(特别是好网站)都有不错的xml服务。我建议你解析赔率XML,而不是解析网站。 对于初学者来说,本教程对于xml解析非常有用:http://docs.python.org/2/library/xml.etree.elementtree.html