Question

我创建了一个表，用于插入从api获取的数据，并使用sqlalchemy将其存储到pandas数据框中。我将需要每4小时查询一次api，以获取新数据。问题是该api不仅会给我还回已经在mysql中导入的新数据，而且还给我旧数据如何将新数据仅导入到mysql表中

我从api中检索数据，将数据存储到pandas对象中，创建了与mysql db的连接并创建了一个新的新表。

import requests
import json
from pandas.io.json import json_normalize
myToken = 'xxx'
myUrl = 'somewebsite'
head = {'Authorization': 'token {}'.format(myToken)}
response = requests.get(myUrl, headers=head)
data=response.json()
#print(data.dumps(data, indent=4, sort_keys=True))
results=json_normalize(data['results'])
results.rename(columns={'datastream.name': 'datastream_name',                    
                        'datastream.url':'datastream_url',
                        'datastream.datastream_type_id':'datastream_id',
                        'start':'error_date'}, inplace=True)

results_final=pd.DataFrame([results.datastream_name,
                            results.datastream_url, 
                            results.error_date, 
                            results.datastream_id,
                            results.message,
                            results.type_label]).transpose()

from sqlalchemy import create_engine
from sqlalchemy import exc
engine = create_engine('mysql://usr:psw@ip/schema')
con = engine.connect()
results_final.to_sql(name='error',con=con,if_exists='replace')
con.close()

最终目标是将仅不存在于api中的数据插入表中

Answer 1

您可以将数据库中已经存在的结果放入新的数据框中，然后比较两个数据框。之后，您将只将行插入表中。不知道表或数据的格式，我只是在这里使用通用的SELECT语句。

from sqlalchemy import create_engine
from sqlalchemy import exc
engine = create_engine('mysql://usr:psw@ip/schema')
con = engine.connect()
sql = "SELECT * FROM table_name"
old_results = pd.from_sql(sql, con)
df = pd.merge(old_results, results_final, how='outer', indicator=True)
new_results = df[df['_merge']=='right_only'][results_final.columns]
new_results.to_sql(name='error',con=con,if_exists='append')
con.close()

您还需要将if_exists更改为append，因为将其设置为replace会丢弃表中的所有值，并将其替换为pandas数据框中的值。

SQLAlchemy：如果表格中不存在来自熊猫数据帧的新行，则将它们添加到mysql表中

1 个答案: