akka可以处理繁重的算法来转换db中的数据吗?

时间:2014-07-31 15:15:36

标签: akka

我是akka的新手,我正试着看看它是否能解决我面临的问题。我有来自数据库的数据来提取,使用算法进行转换并通过发送者和发送者发送。这涉及很多计算。 akka可以处理所有这些(通信和计算)吗?或者我是否需要使用其他工具来管理微积分?

谢谢大家。

WIP

2 个答案:

答案 0 :(得分:2)

嗯,我能提供的就是我的经验。事实上,我目前正在研究类似的东西(即带有文本文件的ETL)。我们基本上采用了大量的文本文件并将它们的行加载到PostgreSQL数据库中。这是我们的设置:

  • Intel Xeon 8核+ SSD
  • 同一台计算机上的文件和应用
  • 远程数据库

我们能够在大约12分钟内获取,解析和加载 26百万文件行并创建特定的数据库索引,大约 1.3GB 数据库中的文件和 3GB 。在更加糟糕的单核和HDD设置上,我们可以在大约40分钟内完成。

关于Akka的好处是它可以让你节省资源并扩展更多,因为几个演员可以共享一个帖子。

答案 1 :(得分:2)

Akka可以轻松处理每秒数百万条消息发送,老朋友可以在这里讨论这个主题in this letitcrash.com post。只要你在单独的调度程序(线程池)中分解阻塞操作,actor模型就可以大大简化并行计算,这当然可以为这些数据处理应用程序提供良好的挂钟时间。