关于如何配置和运行spark-shell的文档 - 可能类似于spark-submit - 并不完全清楚。
以下是我的尝试：
spark-shell --master <master IP:port> --executor-memory 8gb \
--total-executor-cores 10 --driver-memory 8gb \
--driver-class-path /opt/cloudera/CDH/lib/hive/lib \
--driver-java-options "-Dspark.executor.extraClassPath=/opt/cloudera/CDH/lib/hive/lib"
这不起作用：程序无法启动。实际上它会立即返回。
我最需要澄清的项目是--driver-class-path和driver-java-options，关于如何设置spark.executor.extraClassPath。
答案 0 :(得分：1)
问题不在我预期的地方：问题是
--driver-memory 8GB
。这不起作用。删除它和其他设置都没问题。
答案 1 :(得分：0)
这是我的Windows 7解决方案（显示3条不同路径的长线）
spark-shell --master local --driver-class-path ..\..\path1\jar1.jar;C:\Users\User\.m2\repository\path2\jar2.jar;target/playground-1.0-SNAPSHOT.jar
所以要做的有三件事：