ETL - 自动从一个数据库到另一个数据库的数据传输

时间:2018-03-02 18:23:35

标签: json database oracle11g nosql arangodb

我精通数据以及如何移动和操作数据,但我现在使用5到6年的过程大多是手动的。虽然有大量的宏,查询,函数和其他方法经过预编码以帮助将数据移动和操作到我的Oracle数据库中,但除非有个人能够实现,否则整个过程都无法完成。

我的问题是要求了解有关如何自动化将数据从一个系统移动到另一个系统的过程的多种方式。我很肯定这可以通过从一个系统中删除文件来完成,然后由另一个系统获取文件。或者,也许一个系统可以利用其他系统API,只需将数据拉出并将其导入自身。另一种选择是将数据推出并让源系统通过它的API访问目标系统。我几乎没有自动化数据传输的经验,只需要一些方向。这些大小公司如何实现数据传输的自动化?我有什么选择?

虽然我正在寻找广义的答案,但我的情况是将数据从Oracle移出到JSON格式的Arango NoSQL数据库。

1 个答案:

答案 0 :(得分:2)

以下是我们如何做到这一点;我们有客户支付我们在不同银行的服务。这些银行中的每一家都提供包含前一天付款的TXT文件;这些文件位于目录(文件夹)中。

操作系统预定作业(在MS Windows上,即任务计划程序)每隔几分钟运行一次,并检查该目录中是否有新文件。

如果是这样,它运行一个(MS DOS)批处理脚本,该脚本调用Oracle SQL * Loader实用程序。然后,它将数据加载到Oracle表中,并将TXT文件复制到存档目录中。

不完全是火箭科学,但是 - 现在已经工作多年了。

我确信其他人会有不同的例子和建议。