Question

是否可以使用Apache Spark读取pdf /音频/视频文件（非结构化数据）？例如，我有成千上万的pdf发票，我想从这些发票中读取数据并对其进行一些分析。我必须采取哪些步骤来处理非结构化数据？

Answer 1

是的，确实如此。使用lr.fit(training)以二进制格式加载文件，然后使用sparkContext.binaryFiles将值映射到其他格式 - 例如，使用Apache Tika或Apache POI解析二进制文件。

伪代码：

map

重要的是，必须使用之前在我的回答中提到的其他框架来完成解析。 Map将把InputStream作为参数

Answer 2

我们有一个场景，我们需要在输入文件上使用自定义解密算法。我们不想用Scala或Python重写该代码。 Python-Spark代码如下：

from pyspark import SparkContext, SparkConf, HiveContext, AccumulatorParam

def decryptUncompressAndParseFile(filePathAndContents):
    '''each line of the file becomes an RDD record'''
    global acc_errCount, acc_errLog
    proc = subprocess.Popen(['custom_decrypt_program','--decrypt'], 
             stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    (unzippedData, err) = proc.communicate(input=filePathAndContents[1])
    if len(err) > 0:  # problem reading the file
        acc_errCount.add(1)
        acc_errLog.add('Error: '+str(err)+' in file: '+filePathAndContents[0]+
            ', on host: '+ socket.gethostname()+' return code:'+str(returnCode))
        return []  # this is okay with flatMap
    records   = list()
    iterLines = iter(unzippedData.splitlines())
    for line in iterLines:
        #sys.stderr.write('Line: '+str(line)+'\n')
        values = [x.strip() for x in line.split('|')]
        ...
        records.append( (... extract data as appropriate from values into this tuple ...) )
    return records

class StringAccumulator(AccumulatorParam):
    ''' custom accumulator to holds strings '''
    def zero(self,initValue=""):
        return initValue
    def addInPlace(self,str1,str2):
        return str1.strip()+'\n'+str2.strip()

def main():
    ...
    global acc_errCount, acc_errLog
    acc_errCount  = sc.accumulator(0)
    acc_errLog    = sc.accumulator('',StringAccumulator())
    binaryFileTup = sc.binaryFiles(args.inputDir)
    # use flatMap instead of map, to handle corrupt files
    linesRdd = binaryFileTup.flatMap(decryptUncompressAndParseFile, True)
    df = sqlContext.createDataFrame(linesRdd, ourSchema())
    df.registerTempTable("dataTable")
    ...

自定义字符串累加器在识别损坏的输入文件时非常有用。

是否可以使用Apache Spark读取pdf /音频/视频文件（非结构化数据）？

2 个答案: