从Spark应用程序

Question

我正在尝试读取和写入我在本地安装DSE的本地cfs安装，这是在独立模式下本地安装DSE。

我的猜测是，为了连接到cfs，我不得不使用right主机名，而right我指的是Spark主机使用的那个（为了当我./dse spark时，创建火花上下文。

应该相当容易，但我无法弄清楚......有什么想法吗？

Answer 1

您应该能够使用相对路径访问您的cfs，就像在hadoop环境中一样。 sc.textFile（＆＃34; / yourpath＆＃34）

修改

好的，您可能还需要指定驱动程序主机以启用与master的通信。

val conf = new SparkConf()
    .set("spark.driver.host", "driver ip")
    .setMaster("master host name")

val sc = new SparkContext(conf)