我在xlsx文件中有一些用户记录,如果每月有特定组合的多个实例,我会通过应用pandas 的一些 groupby-transform-Sum()功能将这些记录存储在SQL数据库中( Exa.Id-Location-Designation-Day-PolicySold)
到目前为止,所有过去和新添加的数据都只用于在xlsx文件中维护,但只能在最近3个月内继续使用数据,我需要将这些新数据存储到SQL Db中,以确保已存在的过去数据在SQL DB中(几个月,几年)完好无损并确保没有重复的条目。
有人能建议我有效处理这个问题吗?
我目前的做法是: 1.在执行新的写操作之前,从SQL表中读取过去的数据。 2.从xlsx中读取新数据。 合并两者 4.使用Sum()应用Groupby.transformation将每日数据转换为每月数据