如何使用Spark从HDFS加载多个文件

Question

我尝试使用以下代码从HDFS加载多个文件：

val data = spark
.read
.option("header", "true")
.option("mergeSchema","true")
.format("parquet")
.load("data/day=1/att=2/*,data/day=1/att=3/*,data/day=1/att=4/*")

我得到一个例外：

    org.apache.spark.sql.AnalysisException: 
Path does not exist: hdfs://user/ccc/data/day=1/att=2/*,data/day=1/att=3/*,data/day=1/att=4/*

如何从hdfs加载多个文件？

Answer 1

您需要将每个文件名分别用引号引起来。以下应该起作用：

// where "123" is the user you want to check against
$user = App\User::find(123);

if(!$user->can('update', $post) {
    throw new \Illuminate\Auth\Access\AuthorizationException;
}