传输批量数据的最佳方式

时间:2016-10-20 13:48:11

标签: java asp.net-web-api protocol-buffers data-transfer

我有2个要求,都涉及数据传输。 在第一个我有一个应用程序' A'在数据库的临时表中有数据,这些数据必须转移到另一个应用程序' B'。这里每天需要传输大约50k-60k的记录。我想知道转移这个的最佳方法是什么?我是否仍应遵循旧学校创建文件并传输文件的方法或使用web-API或其他任何方法?请在JAVA中提出任何建议。

在第二个中,我有一个需要从app' A'应用程序' B'。文件大小约为10GB。实现它的最佳方法是什么?我看了一下IBM ESB,还有其他更好的替代品吗?

1 个答案:

答案 0 :(得分:0)

这最好在任何API之外完成,因为它可能需要相当长的时间。

我的建议是将数据导出到csv,压缩,然后通过ftp将其传输到其他系统。

在第二个系统上,您需要一些东西来监视ftp内容的文件夹,而另一件事则是将数据放入第二个系统。我使用Azure云设置了这样一个系统,例如使用Webjobs,它运行得非常好。

您还可以提出适合您具体情况的其他内容。