Question

我想从我正在使用 urllib和Beautiful Soup 的其他网址中获取数据，我的数据位于表格标记内（我已经使用Firefox控制台了解）。但是当我尝试使用他的id获取表时，结果是None，那么我想这个表必须通过一些js代码动态添加。

我已经尝试了所有解析器'lxml'，'html5lib'但仍然无法获取该表数据。

我还尝试了一件事：

web = urllib.urlopen("my url")
html = web.read()
soup = BeautifulSoup(html, 'lxml')
js  = soup.find("script")
ss = js.prettify()
print ss

结果：

<script type="text/javascript">
 myPage = 'ETFs';
        sectionId = 'liQuotes'; //section tab
        breadCrumbId = 'qQuotes'; //page
        is_dartSite = "quotes";
        is_dartZone = "news";
        propVar = "ETFs";
</script>

但现在我不知道如何获取这些js变量的数据。

现在我有两个选项要么得到那个表内容ot得到js变量，其中任何一个都可以完成我的任务但不幸的是我不知道如何得到这些，所以请告诉我如何解决任何一个问题。

由于

Answer 1

修改

这将使用re模块提取数据并将其加载为JSON：

import urllib import json import re from bs4 import BeautifulSoup web = urllib.urlopen("http://www.nasdaq.com/quotes/nasdaq-financial-100-stocks.aspx") soup = BeautifulSoup(web.read(), 'lxml') data = soup.find_all("script")[19].string p = re.compile('var table_body = (.*?);') m = p.match(data) stocks = json.loads(m.groups()[0]) >>> for stock in stocks: ... print stock ... [u'ASPS', u'Altisource Portfolio Solutions S.A.', 116.96, 2.2, 1.92, 86635, u'N', u'N'] [u'AGNC', u'American Capital Agency Corp.', 23.76, 0.13, 0.55, 3184303, u'N', u'N'] . . . [u'ZION', u'Zions Bancorporation', 29.79, 0.46, 1.57, 2154017, u'N', u'N']

这个问题是脚本标签偏移是硬编码的，并且没有可靠的方法在页面中找到它。对页面的更改可能会破坏您的代码。

原始回答

您可以从http://www.nasdaq.com/quotes/nasdaq-100-stocks.aspx?render=download下载相同数据的CSV表示，而不是尝试屏幕抓取数据。

然后使用Python csv模块来解析和处理它。这不仅更方便，而且是一种更具弹性的解决方案，因为对HTML的任何更改都可能轻易破坏您的屏幕抓取代码。

否则，如果您查看实际的HTML，您会发现以下脚本标记中的数据在页面中可用：

<script type="text/javascript">var table_body = [["ATVI", "Activision Blizzard, Inc", 20.92, 0.21, 1.01, 6182877, .1, "N", "N"], ["ADBE", "Adobe Systems Incorporated", 66.91, 1.44, 2.2, 3629837, .6, "N", "N"], ["AKAM", "Akamai Technologies, Inc.", 57.47, 1.57, 2.81, 2697834, .3, "N", "N"], ["ALXN", "Alexion Pharmaceuticals, Inc.", 170.2, 0.7, 0.41, 659817, .1, "N", "N"], ["ALTR", "Altera Corporation", 33.82, -0.06, -0.18, 1928706, .0, "N", "N"], ["AMZN", "Amazon.com, Inc.", 329.67, 6.1, 1.89, 5246300, 2.5, "N", "N"], .... ["YHOO", "Yahoo! Inc.", 35.92, 0.98, 2.8, 18705720, .9, "N", "N"]];

Answer 2

只是添加@mhawke的答案，而不是硬编码脚本标记的偏移量，循环遍历所有脚本标记并匹配与您的模式匹配的标记;

web = urllib.urlopen("http://www.nasdaq.com/quotes/nasdaq-financial-100-stocks.aspx")
pattern = re.compile('var table_body = (.*?);')

soup = BeautifulSoup(web.read(), "lxml")
scripts = soup.find_all('script')
for script in scripts:
   if(pattern.match(str(script.string))):
       data = pattern.match(script.string)
       stock = json.loads(data.groups()[0])
       print stock

获取Python中脚本标记内的变量数据或从js添加的内容

2 个答案: