spark在客户端而不是在worker上读取文件

时间:2016-06-01 00:54:43

标签: apache-spark

mymaster:

$ ./sbin/start-master.sh

myworker:

$ ./sbin/start-slave.sh spark://mymaster:7077

myclient:

$ ./bin/spark-shell --master spark://mymaster:7077

此时,myworker的日志说明如下,表明它已接受了这项工作:

16/06/01 02:22:41 INFO Worker: Asked to launch executor app-20160601022241-0007/0 for Spark shell

myclient:

scala> sc.textFile("mylocalfile.txt").map(_.length}).sum
res0: Double = 3264.0

如果文件mylocalfile.txt在myclient中可用,则它可以正常工作。但是,根据doc,该文件应该在myworker中可用,而不是在myclient中。

  

如果在本地文件系统上使用路径,则该文件也必须是   可在工作节点上的相同路径上访问。将文件复制到   所有工作者或使用网络安装的共享文件系统。

我在这里错过了什么?

0 个答案:

没有答案