如何用* local *包运行spark shell？

Question

此处的页面（http://spark.apache.org/docs/latest/programming-guide.html）表示通过以下方式启动shell时可以包含软件包：

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0

包含本地包的语法是什么（手动下载）？和Maven coords有什么关系？

Answer 1

如果主人/工人上有罐子，你只需要在spark-submit的类路径中指定它们：

spark-shell \
spark.driver.extraClassPath="/path/to/jar/spark-csv_2.11.jar" \
spark.executor.extraClassPath="spark-csv_2.11.jar" \
--jars "/path/to/jar/jary.jar:/path/to/other/other.jar"

如果jar 仅出现在Master 中，并且您希望将它们发送给worker（仅适用于客户端模式），则可以添加exercise标志：< / p>

schema.rb

有关更详细的回答，请参阅Add jars to a Spark Job - spark-submit

Answer 2

请使用：

  

./ spark-shell --jars my_jars_to_be_included

有一个与此相关的未解决的问题：请检查this question。