Ruby中的数据加载脚本 - 使ruby脚本中的ETL更具动态性

时间:2013-07-15 15:51:32

标签: ruby-on-rails ruby etl rails-postgresql

我已经编写了一堆数据加载命令行ruby脚本。大多数脚本从一个数据库表中提取数据并将数据加载到另一个数据库。在大多数情况下,存在一对一的表映射。 Extract columns a,b,c from table A and load into column d,e,f in table B.除了列名在源中与目标不同。我在ruby中使用SQL字符串来提取数据并加载到目标表。在加载到目标之前,SQL可能会有一些奇特的逻辑,例如聚合。

有没有办法可以让它变得更有活力?将其转换为数据加载实用程序。也许有一个可更新的配置文件,它包含源和目标数据库表以及提取和加载的查询。或者不是配置文件,而是通过命令行传递参数。有没有人对如何做这样的事情有任何聪明的想法?

0 个答案:

没有答案