我设计了一个关系数据库来存储从媒体中提取的结构化数据 - 即内容分析。我们有15名分析师，他们分组报纸，广播和电视。系统首先询问有关分析单元的元数据，然后捕获其他几个数据点（主要是多项选择答案）：例如，“主题提及”，“地理位置提及”，“组织提及”，“事件提及”。这被称为Level-1。在Level-2中，系统然后选择每个Mention of Incident，并询问有关每个Source for Actor使用的Sources，Actors和单词的更多问题，等等。数据存储在53个表中（完全标准化）。
问题是，我们需要计算编码器间的可靠性，以了解各种分析师是否以相同的方式编码相同的内容。为此，我们部署了系统的第二个实例，以允许多个分析师对相同的内容进行编码。
我知道这很难回答。如果您需要其他信息（例如数据库结构，特定数据点等），请与我们联系。
我需要一些关于是否有可能在关系数据库中计算编码器间可靠性（使用已建立的方法或定制方法）的指示，其中数据在4-6个嵌套层中相互链接。