我正在尝试使用Scala将RDD写入hdfs,它将通过密钥(例如我的RDD类型是RDD[String, Float, Float]
,第一个元素是key。
代码是
val record: RDD[(String, Float, Float)] = sth.map { x => (str, v1, v2)}
如何保存它并用此键编制索引,我希望所有记录(key1, v1, v2)
存储在key1
目录中,而(key2, v1, v2)
存储在key2
目录中,等等。我使用类似saveTextFile
的东西吗?