如何确保kdb分区表数据不重复？

Question

我创建了一个分区数据库，它从日常存储的文件中获取数据。它工作正常，但我担心如果我用同一天文件运行分区脚本两次，kdb可能会添加重复的行。

我应该使用'key'检查是否存在分区表，还是有一种更简单的方法可以确保kdb不会复制存储的数据？

Answer 1

我不确定您的问题是否1）您担心多次加载同一个文件，或者2）多个文件可能包含相同的数据，因此您不希望后续加载到创建重复项。

对于1），如果用于创建数据库的每日存储文件未更新并具有唯一名称，则可以跟踪已加载的文件，并在后续运行中跳过这些文件。

2）即使您无法对表进行物理锁定，您也可能拥有某些“关键”列，例如sym，date，time，side等。您可以检查当前正在加载的块的“键”值是否已出现在日期分区中。如果他们这样做，丢弃这些记录，同时保留其他记录。