Google Cloud Dataproc - 通过Spark提交Spark职位

时间:2015-09-24 09:04:35

标签: scala apache-spark google-cloud-platform google-cloud-dataproc

有没有办法从Scala代码中向Google Cloud Dataproc提交Spark作业?

    int currentapiVersion = android.os.Build.VERSION.SDK_INT;
    if (currentapiVersion >= android.os.Build.VERSION_CODES.LOLLIPOP) {
        Window window = this.getWindow();
        window.addFlags(WindowManager.LayoutParams.FLAG_DRAWS_SYSTEM_BAR_BACKGROUNDS);
        window.clearFlags(WindowManager.LayoutParams.FLAG_TRANSLUCENT_STATUS);
        window.setStatusBarColor(mCategoryColors.getColorStatusBar());
    }

主URI应该是什么样的?

应使用API​​密钥或密钥对设置哪些键值对进行身份验证?

1 个答案:

答案 0 :(得分:1)

在这种情况下,我强烈建议采用另一种方法。此类连接尚未经过测试或推荐,原因如下:

  1. 需要打开防火墙端口才能连接到群集
  2. 除非您使用隧道,否则您的数据可能会曝光
  3. 默认情况下未启用身份验证
  4. SSH连接到主节点(名为cluster-name-m的节点)是非启动器吗? SSH into the master node直接使用Spark非常容易。