用于将数据加载到Rails应用程序的ETL框架

Question

我需要定期从多个提供程序（基于REST / SOAP的XML提要）将Rails应用程序的数据加载到数据库中。我编写了一组Rake任务，这些任务由每当生成的cron作业启动。每个任务都会命中伙伴Feed端点，解析Feed并将其加载到数据库中。

我应该使用像ActiveWarehouse（http://activewarehouse.rubyforge.org/etl/）这样的ETL框架而不是编写Rake任务吗？有关在Rails中执行此操作的最佳方法的任何建议吗？

Answer 1

如果您只是将数据加载到一组表中，并且用例很简单，例如只添加新记录或更新基本记录，并且您的负载符合您的要求，我会坚持这一点。你当然也可以使用ActiveWarehouse，但听起来有点矫枉过正。但是，如果您需要支持更改维度（即保留数据随时间变化的历史记录），或其他数据仓库＆＃39;功能，然后像ActiveWarehouse这样的东西开始有更多的价值。