哪种大数据框架可用于在毫秒内完成数据转换？

Question

在我的应用程序中，该数据库具有Postgres数据库，该数据库包含5个表，每个表都有超过100万条记录，每个表都有75多个列。我的应用程序从这些表中查询数据，然后转换数据。转换目前由scala脚本完成。然后将这些数据提供给FronEnd。我正在使用具有3个微服务的微服务架构来执行此操作。但是查询和转换数据非常耗时，就像花费10秒钟以上。

是否有解决方案或大数据框架可用于将时间缩短至毫秒？它可以在微服务和数据库之间进行通信吗？

Answer 1

简短的回答：不，除非我们谈论的是10毫秒和100毫秒。

长答案：通常，如果您需要处理以毫秒为单位转换的7500万个数据点，则：

• 必须在内存中仔细地使用您选择的语言的数据结构；
• 预先计算并缓存结果，存在某些（未缓存的）请求将运行10秒钟以上的风险；
• 重新评估您的技术要求和/或体系结构。