此代码从网站提取csv文件并存储。我们可以通过哪种方式将数据从csv文件传输到redis数据库,而列名在python中保持不变。
我已经厌倦了redis.io的交互式教程,并且大致了解了哈希可以用于为一个键设置多个值,但是我无法在将我的csv文件连接到redis的python代码中完成所有这些操作并阅读。
import requests,bs4,csv,redis
import pandas as pd
import zipfile,io
res = requests.get("https://origin-www.bseindia.com/markets/MarketInfo/BhavCopy.aspx")
soup = bs4.BeautifulSoup(res.text, "lxml")
for div in soup.findAll('li', attrs={'id':'ContentPlaceHolder1_liZip'}):
required_url = div.find('a')['href']
resp = requests.get(required_url)
zfile = open('bhavCopy','wb')
zfile.write(resp.content)
zfile.close()
zf = zipfile.ZipFile('bhavCopy')
txt = zf.infolist()
for t in txt:
required_csv=t.filename