我们正在读取一个像SaprkContext.textfile(“filepath”)这样的文件。 但如何从netcdf文件制作一个rdd?
答案 0 :(得分:0)
我不完全熟悉netcdf文件格式,但你可以做的是编写一个UDF并导入netcdf java库来打开和读取数据,将其格式化为一个可以从中加载的结构(例如json,cvs,文本文件),然后继续从该格式加载...
答案 1 :(得分:0)
NASA的一个项目是在Spark上使用科学数据(如NetCDF),称为SciSpark https://scispark.jpl.nasa.gov/technology.html