Spark-shell vs Spark-submit将jar添加到classpath问题

Question

我可以通过CREATE TEMPORARY FUNCTION testFunc using jar 'myJar.jar'在 hiveContext 中运行spark-shell --jars myJar.jar -i some_script.scala查询，但我无法通过{{1}运行此类命令}。

我做错了吗？

Answer 1

如果您使用的是本地文件系统，则Jar必须位于所有节点上的相同位置。

所以你有两个选择：

• 将jar放在同一目录中的所有节点上，例如在/home/spark/my.jar中，然后在--jars选项中使用此目录。
• 使用像HDFS这样的分布式文件系统