通用数据网关模式-Python

时间:2019-05-19 14:35:36

标签: python etl data-science gateway table-data-gateway

我使用各种数据源(Salesforce,Google,CSV,其他REST API等)和类型(表格,键值),并且有许多不同的Python包装器公开这些提要。

这些很难维护,目前还没有遵循一致的界面/惯例-我认为这是一个糟糕的地方。我需要从中检索数据的来源列表一直在增长,因此我想找到/提出一个更好的解决方案。

我的直觉是尝试设计一种用Python内置的“通用”数据网关,该网关可以为我需要的数据提供一致的接口,而无需考虑底层的来源和检索方法(例如HTTP请求vs.数据库调用)。问题是,我正在努力寻找正在使用的这种类型设置的任何具体示例,在我看来,这很奇怪,因为这对于许多组织来说似乎是一个常见问题,在这些组织中,数据来自具有许多不同模式和不同资源的许多来源。结构。

对于任何有关如何开始考虑这一问题的建议,和/或对可能有帮助的现有解决方案的指导,我将深表感谢。

0 个答案:

没有答案