如何使用opencv和MrJob从Hadoop序列文件中读取图像?

时间:2015-12-03 13:49:41

标签: opencv hadoop mrjob sequencefile

我用tar文件创建了序列文件,其中包含 tar-to-seq.jar 的图像。现在我想从该序列文件中创建超出字节数的图像并进行分析。我使用opencv 3.0.0和mrjob 0.5版本。

我有使用cv2.imdecode()方法读取图像的麻烦,我得到空值

from mrjob.job import MRJob
import os
import sys
import cv2
import numpy as np
class CountLavander(MRJob):
    HADOOP_INPUT_FORMAT = 'org.apache.hadoop.mapred.SequenceFileAsTextInputFormat'
    def mapper(self, key, value):
        imgbytes = np.fromstring(value,dtype='uint8')
        imarr = cv2.imdecode(imgbytes, cv2.IMREAD_COLOR)
        yield imarr,1




    def reducer(self, key, values):
        yield key, sum(values)


if __name__ == '__main__':
    CountLavander.run()

作为运行此操作的结果:

    python count_lavander.py -r hadoop --hadoop-bin /usr/bin/hadoop
     --hadoop-streaming-jar /usr/hdp/2.2.8.0-3150/hadoop-mapreduce/hadoop-
streaming-2.6.0.2.2.8.0-3150.jar 
    --interpreter /usr/local/bin/python2.7 cor_data.seq

我得到了:

 null   2731

我在那个序列文件中打包了2731图像,所以我猜它包装得很好,但不知怎的,我不能把它们看作图像。 有人有想法吗?

0 个答案:

没有答案