mymaster:
$ ./sbin/start-master.sh
myworker:
$ ./sbin/start-slave.sh spark://mymaster:7077
myclient:
$ ./bin/spark-shell --master spark://mymaster:7077
此时,myworker的日志说明如下,表明它已接受了这项工作:
16/06/01 02:22:41 INFO Worker: Asked to launch executor app-20160601022241-0007/0 for Spark shell
myclient:
scala> sc.textFile("mylocalfile.txt").map(_.length}).sum
res0: Double = 3264.0
如果文件mylocalfile.txt在myclient中可用,则它可以正常工作。但是,根据doc,该文件应该在myworker中可用,而不是在myclient中。
如果在本地文件系统上使用路径,则该文件也必须是 可在工作节点上的相同路径上访问。将文件复制到 所有工作者或使用网络安装的共享文件系统。
我在这里错过了什么?