我的高清

时间:2016-12-10 08:58:34

标签: hadoop apache-spark sparkr

如果我说错了,我很抱歉,但我只是一个初学者。我试图自己找到这个答案,但我找不到答案,即使我只是疯了一下,试图将这个问题改写一千次。

我在笔记本电脑上安装了Spark 2.0.2和Hadoop 1.6,我只想在计算机上创建几个主人和工人,这样我就可以练习如何在HFDS中存储数据,如何映射 - 减少等,所以我会学习,最终我可以在工作中使用它,只要集群都是为我设置的。

所以,我可以使用master和worker类在localhost上创建一个master:8080和8081和8082上的几个worker,我可以使用库SparkR通过RStudio连接到那个会话。 / p>

现在,让我们说我在那里做了一些事情:我创建了一个SparkR数据帧,我将其转换,我复制它,无论如何,我使用write.df命令将其保存到文件路径中。

哪里,在我的电脑中存放?

如何通过Windows资源管理器和RStudio探索存储在HDFS中的数据(getwd返回不同的东西)?

最后,我只是杀了那些主人和工人,后来我再次启动它们,我怎样才能确保它们指向相同的位置,这样我就能把工作带到我离开的地方它?

0 个答案:

没有答案