PySpark指定镶木地板文件

Question

我有以下代码来处理文本文件

textFile = sc.textFile(inputFile,numPart).map(mTorv,True)

db = textFile.
  flatMap(fmTocrv,True).
  reduceByKey(rbkGroupCols,numPart).
  mapValues(mvDodbs).
  filter(lambda (x,y): y is not None).
  persist()

我如何为镶木地板文件做同样的事情？

Answer 1

您可以使用sqlContext.read.parquet（将Parquet数据加载到数据框中），然后使用rdd.df将DF转换为RDD。