我有一个存储跟踪信息的数据库(MySQL / MariaDB)。每件可以扫描多次(最多10-15次)。我有两个基本的报告类别 - 需要细节的那些和需要最新扫描信息的那些。
所以我基本上有一个scans_table和一个scans_unique表。这些表将存储最近90天,其中扫描表中约为15亿,scanner在scan_unique表中为1亿。
我认为没有足够的效率来满足我查询一个表的需求。
那就是说,我已经运行了一些简单的基准测试,但没有足够的数据来真正获得好的结果。
我的问题是,我应该如何填充scans_unique表?它应该是一个观点吗?我应该使用统计信息表上的触发器来更新统计信息唯一表上的重复键吗?我应该在导入脚本中使用第二个插入吗?关键是我们将通过导出的CSV文件同时处理大量行,并且正在寻找最有效的方法来处理这个问题。