AWS上的DataStax Enterpise - 运行Spark作业

Question

我们当前在尝试在DSE 4.8 Analytics上运行Spark作业时遇到以下错误

  

ERROR 2016-04-11 20：59：42,825 UserGroupInformation.java:1128 -   org.apache.hadoop.security.UserGroupInformation：   PriviledgedActionException为：ubuntu   cause：java.util.concurrent.TimeoutException：期货超时后超时   [120秒]线程＆＃34;主要＆＃34;中的例外情况   java.lang.reflect.InvocationTargetException at   sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）at   sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）     在   sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）     在java.lang.reflect.Method.invoke（Method.java:498）at   org.apache.spark.DseSecureRunner。（DseSecureRunner.scala：24）at at   org.apache.spark.DseSecureRunner $ .main（DseSecureRunner.scala：34）at at   org.apache.spark.DseSecureRunner.main（DseSecureRunner.scala）导致   by：java.lang.reflect.UndeclaredThrowableException：未知异常   在doAs中   org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1138）     在   org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser（SparkHadoopUtil.scala：67）     在   org.apache.spark.executor.CoarseGrainedExecutorBackend $ .RUN（CoarseGrainedExecutorBackend.scala：146）     在   org.apache.spark.executor.CoarseGrainedExecutorBackend $。主要（CoarseGrainedExecutorBackend.scala：245）     在   org.apache.spark.executor.CoarseGrainedExecutorBackend.main（CoarseGrainedExecutorBackend.scala）     ... 7更多引起：java.security.PrivilegedActionException：   java.util.concurrent.TimeoutException：期货在[120之后]超时   在java.security.AccessController.doPrivileged（Native。）   方法）在javax.security.auth.Subject.doAs（Subject.java:422）at   org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1125）     ... 11更多引起：java.util.concurrent.TimeoutException：期货   在[120秒]之后超时   scala.concurrent.impl.Promise $ DefaultPromise.ready（Promise.scala：219）     在   scala.concurrent.impl.Promise $ DefaultPromise.result（Promise.scala：223）     在scala.concurrent.Await $$ anonfun $ result $ 1.apply（package.scala：107）     在   scala.concurrent.BlockContext $ DefaultBlockContext $ .blockOn（BlockContext.scala：53）     在scala.concurrent.Await $ .result（package.scala：107）at   org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI（RpcEnv.scala：97）at at   org.apache.spark.executor.CoarseGrainedExecutorBackend $$ anonfun $运行$ 1.适用$ MCV $ SP（CoarseGrainedExecutorBackend.scala：159）     在   org.apache.spark.deploy.SparkHadoopUtil $$匿名$ 1.run（SparkHadoopUtil.scala：68）     在   org.apache.spark.deploy.SparkHadoopUtil $$匿名$ 1.run（SparkHadoopUtil.scala：67）     ......还有14个

在2个工作节点上发生此错误，而运行驱动程序的节点运行正常。

对于使用2.6风格的DataStax AMI创建的3个节点的群集，我们有以下安全组配置

从文档中删除我的安全组就像这样，只有一个小例外

忽略以下端口

8983自定义TCP规则TCP 0.0.0.0/0 Solr端口和演示应用程序网站端口（投资组合，搜索，搜索日志，天气传感器）

解决此错误的唯一方法是执行以下操作 所有TCP TCP（6） 所有 cluster-security-group（使用图片作为参考，这将是sg-bbc40aff）

这让我相信某些进程正试图通过另一个端口与集群中的节点进行通信。

http://docs.datastax.com/en/datastax_enterprise/4.8/datastax_enterprise/install/installAMIsecurity.html

有没有人在AWS上使用DSE Analytics运行Spark Jobs遇到此问题？ 感谢