使用数据处理/数据仓库所需API的最佳方法是什么。
我想通过API获取多个数据源。一些模块有超过20个API调用,其他模块有5-6个。如何获取每个系统/数据源的所有数据。
最好的方法是使用Azure Web Job Service等控制台应用程序。这是最大的工作量,因为它需要从头开始编程吗?或者我应该使用像Talend,Pentaho这样的中间件来使用这些AP并转移到数据库?
任何帮助都将受到极大的赞赏。
答案 0 :(得分:1)
WebJobs将为您提供的唯一好处是能够按计划执行代码。您将编写自己的代码以从各种API中提取数据,并在您选择存储数据时将其存储。
在我看来,如果你已经有.NET代码可以访问这些API并保存必要的数据,那么WebJobs将是一个合理的选择。如果您必须编写代码来从头开始调用API,我首先会查看第三方数据集成工具(如Talend),看看它是否适合您。