如何将Shark API(sql2rdd)转换为Spark Interactive Shell

时间:2014-02-03 23:08:02

标签: apache-spark shark-sql

作为一个Linux菜鸟,我最近设置了火花和鲨鱼来玩。我想用一个API sql2rdd将数据从shark中提取到rdd。但是,我不知道sql2rdd库在哪里以及如何链接Spark Interactive Shell。我在网上的某个地方看到,Shark API需要在没有任何指令的情况下进入Spark目录。如果有人知道,请指教。提前谢谢。

1 个答案:

答案 0 :(得分:0)

转到shark安装目录。以下是:

Step 1: ./bin/shark-shell

Step 2: val testRdd = sc.sql2rdd("select * from temp") // sc - SharkContext in shark-shell

Step 3: Now if you do an action, "testRdd.count" you can view the number of 
        records