Question

我正在使用Python-Django将网站数据加载到Postgres中，大约有9个csv文件正在加载到数据库中，但是从网站获取数据并将其加载到Postgres花费了大约10个小时的时间。我想提高查询的性能。你们能帮忙吗？

这只是1个数据框，但我还有9个类似的数据框，整个数据少于50万条记录

from django.db import models  
from django_pandas.managers import DataFrameManager  
import pandas as pd      
from sqlalchemy import create_engine  
import zipfile  
import os  
from urllib.request import urlopen     
import urllib.request  
import io  
from io import BytesIO  

class mf(models.Model):
    pg_engine = create_engine('postgresql://user:password@server:host/db')
    zf = zipfile.ZipFile(BytesIO(urllib.request.urlopen('http://md_file.zip').read()))
    df1 = pd.read_csv(zf.open('nm.dat'),header=None,delimiter='|', index_col=0, names=['aaa', 'xxxx', 'yyy','zzz'])
    df1.to_sql('nm',pg_engine,if_exists='replace')

提高python django models.py查询的性能

0 个答案: