从spark连接到第三方系统的常用方法是为系统提供凭证作为spark脚本的参数。但是,这引发了一些关于安全性的问题。例如。请参阅此问题Bluemix spark-submit -- How to secure credentials needed by my Scala jar
在bluemix上运行的spark作业是否可以查看操作系统上其他进程的列表?即作业是否可以运行相当于ps -awx
来检查在spark集群上运行的进程以及传递给这些进程的参数?我猜这是一个设计目标,这一定是不可能的,但最好对此进行验证。
答案 0 :(得分:1)
对于Bluemix Apache Spark服务,每个配置的spark服务实例都是租户。每个租户都与所有其他租户隔离。给定租户的Spark作业无法访问任何其他租户的文件或内存。因此,即使您可以通过流程列表确定另一个租户的ID,也无法利用它;在任何这样的论证中都没有真正私密的东西。这里的一个相关类比是/etc/passwd
是世界可读的,但用户ID的知识本身并没有打开任何门。即默默无闻;实际的事情被锁定了。
鉴于这一切,我了解到这项服务将在不久的将来通过集装箱化进一步隔离。