如何配置可由所有spark节点访问的hdfs(通用可用存储)?

时间:2017-10-02 05:53:27

标签: scala apache-spark hdfs

我是Apache Spark的新手。在我的实验室里,我制作了一个8个星团。我需要使用一些可以被所有节点访问的外部通用存储(hdfs是我的选择)。我有一个未使用的ubuntu pc与静态IP。

任何人都可以指导我如何

  1. 以伪分布式模式安装" Hadoop"
  2. 在已安装的hdfs服务器上传数据
  3. 从spark节点(例如RDD =sc.textFile("hdfs://bucketname/customer-orders.csv")
  4. 访问此数据

0 个答案:

没有答案