如何处理大量数据？

Question

我有一个学校项目，我获得了103MB的数据（安大略省的水流质量结果），相当于200 000多行数据。我需要能够接收数据并从中创建视觉效果（例如安大略省的地图，其中点表示20XX中X化学物质的位置）。

我已经尝试过或多或少地接受一切，而我的电脑显然无法处理。我想知道是否有可以帮助我的策略或功能。

我希望在获取数据后将信息放在2D ArrayList中。

---

示例

数组名称：rawData

[0]，[1]，[2]

2002,2003,2004

站号，站号，站号

化学式发现，化学。发现，化学。结果

等

如果这是存储数据的低效方式，那么更好的方法是什么？

---

任何帮助都将不胜感激。

备注：数据已经提供给我10多个文件。此外，文件扩展名为.csv，因此每行用逗号分隔（例如[年份，化学品发现，浓度百分比＆gt;等]）

Answer 1

您可以使用ArrayLists。使用您需要存储在对象中的值创建一个类。

例如：

class Data{
  String Year;
  String found;
  ---one property for each of the value you need--
}

然后，您可以填充此类的对象并将它们添加到arrayList。

Answer 2

除了Ardash的答案之外，您可能需要以块的形式读取数据。如果使用BufferedReader，则可以逐行读取CSV文件。