Python漂亮汤获取数据

时间:2020-05-24 14:12:31

标签: python selenium beautifulsoup

在以下两篇文章中,我对将数据打印到终端并将其写入CSV文件有所帮助。感谢@Andrej Kesely

get financial data using Python Python scrape data from "div: class

我现在正在尝试获取“公司”链接上的数据。我试图复制第一个链接中的代码,但它不会显示到终端上或执行任何操作。

我正在尝试获取每个企业的销售额,每个地区的销售额,经理,股东等。

https://www.marketscreener.com/DOLLAR-GENERAL-CORPORATIO-5699818/company/

很明显,我已经更改了表名等,我在想,也许我没有看正确的表,但是我不确定如何区分选择哪个标签。

all_data={}

for table in soup.select('table.tabTitleLeftWhite'):
    table_name = table.find_previous('b').text
    all_data[table_name] = []
    #scrape for every row
    for tr in table.select('tr'):
        row = [td.get_text(strip=True, separator=' ') for td in tr.select('td')]
        if len(row) == 7:
            all_data[table_name].append(row)

for k,v in all_data.items():
    print('Table name: {}'.format(k))
    print('-' * 160)
    for row in v:
        print(('{:<25}'*7).format(*row))
print()

我又看了看。我以为可能与第一个代码块中的If语句有关,但这并不能解决任何问题。我可能缺少明显的东西...

0 个答案:

没有答案