我的服务器存储了一百万条调查记录，系统中的每个用户都有访问数据的特定权限（例如，管理员可以查看所有记录，请求者只能查看其部门中的记录，等等）。 目标是我的网站显示登录用户的报告。但是，当用户访问网页时，从数据库中检索正确的数据确实需要时间，因为它需要连接多个表以获取每个用户角色的允许访问数据。
我计划在某处缓存数据以减少加载时间（这意味着每次用户访问网站时都不需要查询数据）。问题是每个角色都有一组数据，如何有效地缓存数据并使它们始终保持最新状态？
**更新：实际上查询不会花费太多时间。问题是我需要将数据作为数据透视表处理（使用Pandas库），这个过程确实需要时间和成本内存，因为它需要读取整个数据。我可以在某处缓存结果，当用户访问页面时，服务器不需要再次查询和处理pivotTable。但问题是总是添加新数据，我不知道如何使缓存保持最新状态