如何使用Spark从netcdf文件制作rdd?

时间:2016-02-01 03:19:31

标签: scala

我们正在读取一个像SaprkContext.textfile(“filepath”)这样的文件。 但如何从netcdf文件制作一个rdd?

2 个答案:

答案 0 :(得分:0)

我不完全熟悉netcdf文件格式,但你可以做的是编写一个UDF并导入netcdf java库来打开和读取数据,将其格式化为一个可以从中加载的结构(例如json,cvs,文本文件),然后继续从该格式加载...

答案 1 :(得分:0)

NASA的一个项目是在Spark上使用科学数据(如NetCDF),称为SciSpark https://scispark.jpl.nasa.gov/technology.html