我有Bluemix Spark笔记本,我想与他人分享。我希望他们能够使用与我的Spark实例关联的对象存储上的数据来运行笔记本(因此他们不需要自己加载数据)。
我使用以下命令在Scala笔记本中配置对象存储(此代码来自另一个stackoverflow帖子)。
def setConfig(name:String, dsConfiguration:String) : Unit = {
val pfx = "fs.swift.service." + name
val settings:Map[String,String] = dsConfiguration.split("\\n").
map(l=>(l.split(":",2)(0).trim(), l.split(":",2)(1).trim()))(breakOut)
val conf = sc.getConf
conf.set(pfx + "auth.url", settings.getOrElse("auth_url",""))
conf.set(pfx + "tenant", settings.getOrElse("tenantId", ""))
conf.set(pfx + "username", settings.getOrElse("username", ""))
conf.set(pfx + "password", settings.getOrElse("password", ""))
conf.set(pfx + "apikey", settings.getOrElse("password", ""))
conf.set(pfx + "auth.endpoint.prefix", "endpoints")
}
setConfig("spark", YOUR_DATASOURCE)
我能够在我自己的Spark服务上运行的Scala笔记本中使用以下内容成功访问我自己的对象存储上的数据。
val data = sc.textFile("swift://notebooks.spark/mydata.data")
但是,在我们自己的Bluemix Spark服务中运行笔记本时,与我共享笔记本的其他人无法使用上面显示的相同对象存储配置访问我的对象存储上的数据。
其他人如何在自己的Bluemix Spark服务上运行Spark笔记本访问与我的Bluemix Spark服务相关联的对象存储上的数据。
答案 0 :(得分:0)