我需要阅读具有火花的特定镶木地板文件,我知道这可以这样做:
sqlContext
.read
.parquet("s3://bucket/key", "s3://bucket/key")
现在我有一个List [String]对象,其中包含所有这些s3路径,但我不知道如何以编程方式将其传递给Scala中的镶木地板功能?有很多文件可以手动完成,有任何想法如何以编程方式将文件放入镶木地板功能吗?
答案 0 :(得分:2)
我之前回答了一个类似的问题,涉及重复的参数here。
正如@Dima所说,你正在寻找一个splat运算符,因为.parquet
期望重复参数:
sqlContext.read.parquet(listOfStrings:_*)
有关Scala Language Specification seciton 4.6.2
中重复参数的更多信息虽然这是scala 2.9的规格,但这部分没有改变。