作为一个Linux菜鸟,我最近设置了火花和鲨鱼来玩。我想用一个API sql2rdd将数据从shark中提取到rdd。但是,我不知道sql2rdd库在哪里以及如何链接Spark Interactive Shell。我在网上的某个地方看到,Shark API需要在没有任何指令的情况下进入Spark目录。如果有人知道,请指教。提前谢谢。
答案 0 :(得分:0)
转到shark安装目录。以下是:
Step 1: ./bin/shark-shell
Step 2: val testRdd = sc.sql2rdd("select * from temp") // sc - SharkContext in shark-shell
Step 3: Now if you do an action, "testRdd.count" you can view the number of
records