从不同数据源加载到MySQL数据库的数据自动化

时间:2016-02-26 07:57:23

标签: mysql database etl

我有不同来源的数据,如Access数据库,CSV文件,平面文件等,我需要MySQL数据库中的所有这些数据。因为它是重复的过程,我需要基于某些触发器的自动化,它将自动拉取数据,转换并加载到MySQL数据库。 我是这个领域的新手,所以如果有人能提出一些好方法或工具来实现这一点。有哪些开源工具可以帮助我实现这个目标?

2 个答案:

答案 0 :(得分:0)

您需要一个ETL工具,例如SSIS。对于与mySQL一起使用的SSIS替代方案,您可以尝试:

https://sourceforge.net/projects/pentaho/

https://sourceforge.net/projects/cloveretl/

我自己没有使用任何工具,因为我使用SSIS,但网上似乎有很多帮助。

答案 1 :(得分:0)

任何 ETL工具都可以帮助您( CloverETL,SSIS,Petaho,Talend 等)。我认为其中一些不属于游戏,因为它们不是开源的(例如SSIS)。问题是你想要做的一些部分可能不容易用开源/社区版来完成 - 例如自动化,编排等。

说到第一个产品( CloverETL ),您可能需要两个产品( Designer和Server )。 Designer是一个客户端应用程序,您可以使用直观的gui设计整个数据集成过程(它基本上是面向图)。虽然Designer可以独立运行数据集成图,但它无法处理作业编排,基于事件的触发。 服务器,另一方面,可以处理所有事件监听,计划任务等。

如果您不熟悉任何ETL工具,可以查看这些Walk-through视频。