将大数据传输到远程服务器以进行保存

时间:2016-10-21 14:05:08

标签: architecture sql-server-2008-r2 bigdata database nosql

我们有多个Java应用程序使用JMS将其审计日志发送到服务器以保存到SQL Server数据库中。这些应用程序之一是以比传输它们更高的速率生成消息,因此其队列得到备份并耗尽空间。该模块正在生成数亿条消息,我们需要快速传输和保存这些消息。

我们想到的可能解决方案: 有一个中央mongodb代替sql server并且在所有模块中都有本地mongodbs。审计将保存在本地dbs中,每晚作业将转储并将其还原到中央数据库中。

请解释您选择解决方案的原因。

1 个答案:

答案 0 :(得分:0)

我们决定使用Apache Kafka而不是JMS。