使用HADOOP进行卫星图像处理

时间:2013-09-30 13:41:58

标签: hadoop mapreduce hbase hive apache-pig

如何将卫星图像( *.TIFF , *.GeoTiff *.Jpeg format )存储/上传到HDFS? 如何将存储的卫星图像分解为Tiles? 如何将这些瓷砖存储到HIVE元存储中? 如何使用PIG或HBase执行对存储数据的简单查询? 如何使用MapReduce程序对存储的卫星图像进行简单的图像处理?

2 个答案:

答案 0 :(得分:3)

Hadoop提供SequenceFiles作为处理小文件的替代方法。要处理图片,请查看此链接Processing images以及cloudera post

编辑:

HIPI:是Hadoop的MapReduce框架库,提供用于执行图像处理任务的API。

答案 1 :(得分:2)

我要做的是将图像视为矩阵。 我将使用以下格式生成带有元组的平面文件:

(x coord, y coord, value)

通过这种方式,您可以应用许多图像处理(旋转,减去2个图像,识别连接的组件,进行边界检测......)。

关于这项技术,我将开始在HDFS中使用平面文件并与Pig一起玩。

以下是使用此格式的矩阵乘法示例: http://importantfish.com/one-step-matrix-multiplication-with-hadoop/