在Spark-shell中使用库

Question

我想在spark-shell和/或.scala文件中使用this库来操作一些数据。我怎么做？我不能使用maven。

编辑可能的dupl：我也没有jar;如果这是解决方案的一部分，我该如何从该库中制作一个jar？

Answer 1

您引用的库在Maven Central上可用，如果您为Maven Central提供正确的Maven坐标，spark-shell可以自动从Maven Central和其他一些流行的存储库下载库。您不需要明确使用Maven。 （事实上​​，它甚至允许您指定自己的其他Maven存储库并搜索它们。）请参阅http://spark.apache.org/docs/latest/rdd-programming-guide.html#using-the-shell

在具体情况下，命令应该是

./bin/spark-shell --master local[4] --packages "dk.tbsalling:aismessages:2.2.1"

  

注意：您可以浏览https://spark-packages.org/以查找火花   包。