是否可以使用SRdd读取1 GB以上的NetCDF文件？

Question

我们使用SciSpark使用SRdd的概念来读取NetCDF文件。一旦我们厌倦了读取1gb以上的文件，我们就会收到错误。

val data = sc.OpenPath（“/ home / Project / TestData”，List（“rhum”））

这段代码有问题吗？

获取错误：java.lang.OutOfMemoryError：Java堆空间

Answer 1

如果我理解正确，SciSpark是Spark库，您可以使用spark-shell或spark-submit运行代码。如果是这样，您只需要指定适当的内存选项，如下所示：

spark-shell --driver-memory 2g --executor-memory 8g