ETL流程用于从远程服务获取数据，将其转换为本地ORM模型，然后建立关系？

Question

我最近设置了我的第一个“etl”流来从远程服务获取数据，修改它以适合我的本地模型，然后保存它。现在我已经完成了，但由于一些原因，它感觉相当怪诞

我的source是来自远程服务的JSON

我的transform根据原始row model

将新source替换为新定义的本地row

transform还会查看各种值并定义其他本地关系

destination然后在新替换的.save上调用rows，这些版本现在是ORM中的模型。

1. 我应该如何基于外部数据源创建本地记录？我的模型看起来不像远程源。用我的新Model对象取代row条目是对的吗？
2. 如果我应该用我的本地模型替换row的值，那么我认为我应该将每个后续操作拆分为该新行（现在是模型）的transform？

总之，我的.etl看起来像

pre_process do
  @some = <Go To DB and fetch data>
  @variables = <Setup More Information>
end

source MyRemoteSource

transform DoABunchOfWork,@some,@variables

destination CallSaveOnModels

DoABunchOfWork类有大约6种方法process将调用以各种方式操纵或设置关系