使用网络抓取从互联网获取股票价格

时间:2021-02-15 10:18:02

标签: python web-scraping finance stock

我的代码输出:


<Response [200]>
https://www.tradingview.com/symbols/NSE-RELIANCE
1
[<div class="tv-symbol-price-quote__value js-symbol-last"></div>]

Process Finished with exit code 0

我正在尝试从 excel 文件中读取股票名称,并使用此代码在我的 excel 表中更新它们的最新价格。运行这段代码后,我得到了一个数组(数据)中的输出,但它不包含任何股票价格,我以后可以在我的列表中检索和更新。有人可以帮助我吗?The html tag highlighted containing the price of stock

import openpyxl
import time
import requests
from bs4 import BeautifulSoup
wb = openpyxl.load_workbook("try.xlsx")
sheets = wb.sheetnames
#print(sheets)
sh = wb['Stock']
data = sh['F4'].value
#print(data)
s_row = 4
s_col = 6
c_list = []
while sh.cell(row=s_row, column= s_col).value != None:
    c_name = sh.cell(row=s_row, column=s_col).value
    c_list.append(c_name)
    s_row += 1
#print("Company name available in Database")
#[print('    ->', name) for name in c_list]
time.sleep(2)
for stock_symbol in c_list:
    url = 'https://www.tradingview.com/symbols/NSE-' + stock_symbol
    response = requests.get(url)
    print(response)
    print(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    #print(soup)
    data = soup.find_all('div', attrs={'class': 'tv-symbol-price-quote__value js-symbol-last'})
    print(len(data))
    print(data)

1 个答案:

答案 0 :(得分:0)

正如我在评论中所说,这些数据是在页面加载后从脚本生成的,requests 不运行脚本。处理这个问题的一种方法是使用类似 selenium 的东西,它也会运行脚本,另一种方法是直接查询它们的 API。
在查看了如何从站点查询数据后,我得到了它的工作:

r = requests.post(r"https://scanner.tradingview.com/america/scan", 
    data=json.dumps({"symbols":{"tickers":["NYSE:GME"],"query":{"types":[]}},"columns":["close"]}))
print(r.json())

返回的数据看起来像这样:

{'data': [{'s': 'NYSE:GME', 'd': [52.4]}], 'totalCount': 1}

注意 "tickers""columns"
中的值 如果您需要更多数据,这里有一个更广泛的列列表

['Recommend.All', 'RSI', 'RSI[1]', 'Stoch.K', 'Stoch.D', 'Stoch.K[1]', 'Stoch.D[1]', 'CCI20', 'CCI20[1]', 'ADX', 'ADX+DI', 'ADX-DI', 'ADX+DI[1]', 'ADX-DI[1]', 'AO', 'AO[1]', 'Mom', 'Mom[1]', 'MACD.macd', 'MACD.signal', 'Rec.Stoch.RSI', 'Stoch.RSI.K', 'Rec.WR', 'W.R', 'Rec.BBPower', 'BBPower', 'Rec.UO', 'UO', 'EMA10', 'close', 'SMA10', 'EMA20', 'SMA20', 'EMA30', 'SMA30', 'EMA50', 'SMA50', 'EMA100', 'SMA100', 'EMA200', 'SMA200', 'Rec.Ichimoku', 'Ichimoku.BLine', 'Rec.VWMA', 'VWMA', 'Rec.HullMA9', 'HullMA9']