使用猫流scala读取大文件

时间:2018-04-12 22:21:27

标签: scala scala-cats scala-streams

读取一个大文本文件(带有40M +行)并对该列表进行一些操作并将输出写入新文件。

Ex:致电网络服务&使用响应与此列表进行联合或交集(重复此过程几百次)

使用scala使用cat或scala流库(没有OOM问题)以功能方式实现此功能的最佳方法是什么?

  1. 以块的形式读取数据
  2. 使用当前列表进行操作(union或 交集)
  3. 写入新文件

0 个答案:

没有答案