我正在尝试读取spark-submit
提交给客户端模式下的纱线簇的文件。不能将文件放入HDFS。这是我所做的:
def main(args: Array[String]) {
if (args != null && args.length > 0) {
val inputfile: String = args(0)
//get filename: train.csv
val input_filename = inputfile.split("/").toList.last
val d = SparkSession.read
.option("header", "true")
.option("inferSchema", "true")
.csv(SparkFiles.get(input_filename))
d.show()
}
}
并以这种方式提交给纱线:
spark2-submit \
--class "com.example.HelloWorld" \
--master yarn --deploy-mode client \
--files repo/data/train.csv \
--driver-cores 2 helloworld-assembly-0.1.jar repo/data/train.csv
但我有一个例外:
Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://xxxxx.xxxxx.xxxx.com:8020/tmp/spark-db3ee991-7f3d-427c-8479-aa212f906dc5/userFiles-040293ee-0d1f-44dd-ad22-ef6fe729bd49/train.csv;
而且我也尝试过:
val input_filename_1 = """file://""" + SparkFiles.get(input_filename)
println(input_filename_1)
SparkSession.read
.option("header", "true")
.option("inferSchema", "true")
.csv(input_filename_1)
仍然出现类似错误:
file:///tmp/spark-fbd46e9d-c450-4f86-8b23-531e239d7b98/userFiles-8d129eb3-7edc-479d-aeda-2da98432fc50/train.csv
Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: file:/tmp/spark-fbd46e9d-c450-4f86-8b23-531e239d7b98/userFiles-8d129eb3-7edc-479d-aeda-2da98432fc50/train.csv;
答案 0 :(得分:0)
我用--files test.csv
和spark.sparkContext.addFile("test.csv")
尝试了相同的情况
spark.sparkContext.addFile("test.csv")
val df = spark.read.option("header", "true").option("inferSchema", "true").csv("file://"+SparkFiles.get("test.csv"))
通过scala> SparkFiles.get("test.csv")
获得的文件
Ex:/tmp/spark-9c4ea9a6-95d7-44ff-8cfb-1d9ce9f30638/userFiles-f8909daa-9710-4416-b0f0-9d9043db5d8c/test.csv
在提交作业的本地文件系统上创建。
因此工作人员没有要读取的文件。问题可能出在使用spark.read.csv
编辑:
我尝试将本地创建的文件复制到其他节点。 有效。
希望这会有所帮助。