我正在编写一个webspider并在Heroku上分配它,并且在主actor(分配路由器的那个)达到512Mb后崩溃。
基本上,每个解析的URL都会被发送到FetchRouter。队列的消息列表很大,以便进入内存。
有没有办法将此列表存储在磁盘中?
fetcherRouter = context.actorOf(Props[URLFetcher].withRouter(RandomRouter(30)), name = "fetcherRouter")
答案 0 :(得分:1)
确实
有FileBasedMailbox
。请参阅Akka 2.0.x PDF(或相应网页)的第7.1节“持久邮箱”。