最佳实践-以不同方式查询的外部参考数据的存储选项

时间:2019-01-11 19:42:00

标签: azure azure-storage

我们有一个包含各种医疗保健应用程序的云平台。每个应用程序都需要我们所谓的参考数据。参考数据始终是每天或某些固定时间来自提供商的外部数据。参考数据的一个例子是FDB MedKnowledge,其中包括有关消费者用药专论的全面摘要,以及药物图像和烙印。

各种应用程序将查询参考数据,以将其提供给目标客户(可以是医生,护士,技术人员,采购部门等)。将开发一个通用的全局API以返回请求的数据。

需要历史信息(例如:2017年FDB拥有NDC1,然后在2019年从FDB提要中删除了NDC1。因此开具NDC1的医生应该能够查询该药物的历史信息)。

我们每天都会从外部提供商那里获取提要,并将其用作合并(更新,插入,删除)我们的参考数据副本的输入源,以便其活动表反映最新的外部提要。

在Azure中,我们具有以下存储选项: Blob存储 宇宙Db 具有系统版本控制的Azure SQL数据库 Azure数据仓库 Azure数据湖

存储外部参考数据的最佳实践是什么?我们倾向于使用系统版本控制的Azure SQL数据库。你们有没有使用过外部参考数据?如果是,那么您的存储决策是什么,对您来说效果很好吗?我想听听您的意见。谢谢!

1 个答案:

答案 0 :(得分:0)

您需要基于要存储的数据类型以及如何引用这些数据来进行选择。听起来您这里可能实际上需要一些不同的技术。

例如,Azure SQL非常适合存储关系数据。因此,如果您的数据采用表格形式,并且需要在它们之间具有关系,那么这是一个不错的选择。但是,如果要存储数百万行,那么关系数据库中的性能可能会受到影响。在这种情况下,或者在您拥有大量事务数据的情况下,您可能希望查看Cosmos DB。

您曾经提到过图像,将它们放在数据库中并不是一个好主意,在这种情况下,您将要考虑使用blob存储。

“参考数据”实际上没有任何意义,它需要查看您需要存储的各种数据类型以及如何使用这些数据,并据此做出决策。对于许多不同类型的数据,不可能有一个适合所有解决方案的大小。