如何使用自定义技术汇总联属网络和在线商家的数据Feed？

Question

我想为数据源聚合构建软件解决方案。我不想使用像Rakuten PopShops或Datafeedr这样的数据馈送聚合服务。我正在寻找关于如何从软件架构的角度构建此类解决方案的指导。

我应该使用哪种架构设计模式？ 我应该使用哪些技术？ 如何面对来自联盟网络和商家的非规范化数据格式和API的问题？ 你知道关于这个话题的书吗？

由于我来自Java Enterprise世界，这些技术对我来说似乎是解决方案的可用组件：

Apache Camel， ElasticSearch， NoSQL数据库（MongoDB）， 阿卡， ZeroMQ，RabbitMQ， Spring框架， Typesafe Reactive Platform和许多其他工具。

Answer 1

不幸的是，你的问题没有单一答案。我想说在这一点上不再考虑解决方案/模式。尝试从需求角度弄清楚您想要做什么。您希望聚合什么类型的数据，从何处获取数据，数据清理规则，法律问题等。一旦确定了这些数据，请采用最简单的方法来实现它。您过去使用过的技术/舒适的。一旦发现现有解决方案不起作用，请添加其他技术。