Spark和MapR DB连接

时间:2018-09-12 06:27:50

标签: scala apache-spark mapr

我是MapR发行的新手。我需要使用Spark和Scala在MapR DB上进行读写操作。但是我找不到执行这些操作的确切罐子。

但是在

https://mapr.com/docs/home/Spark/WorkingwithComplexJSONDocTypes.html 

他们被称为

import com.mapr.db.spark._

val userprofilesRDD = sc.loadFromMapRDB("/tmp/user_profiles")

从MapRDB加载数据。

但是我的问题是,该软件包(com.mapr.db.spark._)在哪里可用。要下载此软件包,我找不到正确的源(也在Maven存储库中)。

请指导我执行这些任务的正确方法。我知道这些都是基本操作。由于我是新手,所以找不到这样做。

版本详细信息:

MapR:6.0.1-mapr

火花:2.2.1

斯卡拉:2.11.8

等级:3.5

请提及我需要使用哪些工件ID来进行这些操作。

谢谢。

1 个答案:

答案 0 :(得分:0)

这些类在您正在运行的任何版本的MapR扩展包(MEP)发行版的mapr-spark-.rpm中。您提到的类在该RPM的maprdb-spark-.jar中。安装了mapr-spark RPM后,您将在/ opt / mapr / spark / spark- / jars目录中找到该jar。