卡夫卡流作业失败，原因是“驱动程序终止或断开连接”

Question

我对Kafka和Spark职位很陌生， 我尝试运行作业，但出现以下错误并终止。 有人知道吗？

日志类型：stderr

  

日志上传时间：2018年12月21日星期五12：00：15：32 +0000

     

日志长度：29057

     

总共显示4096个字节，共29057个字节。点击此处查看完整日志。

     

-9-98.us-west-2.compute.internal“端口：8020文件：” /user/hadoop/.sparkStaging/application_1544720011085_3180/spray-httpx_2.11-1.3.2.jar“   }大小：434142时间戳：1545351316767类型：文件可见性：PRIVATE       akka-actor_2.11-2.3.2.jar->资源{方案：“ hdfs”主机：“ ip-10-10-9-98.us-west-2.compute.internal”端口：8020文件：   “ /user/hadoop/.sparkStaging/application_1544720011085_3180/akka-actor_2.11-2.3.2.jar”   }大小：2526079时间戳：1545351316020类型：文件可见性：   私人

     

================================================ ================================ 18/12/21 00:15:21 INFO RMProxy：在以下位置连接到ResourceManager   ip-10-10-9-98.us-west-2.compute.internal / 10.10.9.98：8030 18/12/21   00:15:21 INFO YarnRMClient：注册ApplicationMaster 18/12/21   00:15:21 INFO YarnAllocator：将请求4个执行者容器，   每个都有4个核和10137 MB内存（包括921 MB的开销）   18/12/21 00:15:21 INFO YarnAllocator：提交了4个未本地化的   容器请求。 18/12/21 00:15:22 INFO ApplicationMaster：已启动   进度报告程序线程具有（心跳：3000，初始分配：   200）时间间隔18/12/21 00:15:25 INFO AMRMClientImpl：收到新   令牌：ip-10-10-9-16.us-west-2.compute.internal：8041 18/12/21   00:15:25 INFO AMRMClientImpl：收到了以下新令牌：   ip-10-10-9-180.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   AMRMClientImpl：收到了以下新令牌：   ip-10-10-9-236.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   AMRMClientImpl：收到了以下新令牌：   ip-10-10-9-125.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   YarnAllocator：启动容器   主机上的container_1544720011085_3180_01_000002   ip-10-10-9-16.us-west-2.compute.internal用于ID为1的执行程序   18/12/21 00:15:25 INFO YarnAllocator：正在启动容器   主机上的container_1544720011085_3180_01_000003   ip-10-10-9-180.us-west-2.compute.internal用于ID为2的执行程序   18/12/21 00:15:25 INFO YarnAllocator：正在启动容器   主机上的container_1544720011085_3180_01_000004   ip-10-10-9-236.us-west-2.compute.internal用于ID为3的执行程序   18/12/21 00:15:25 INFO YarnAllocator：正在启动容器   主机上的container_1544720011085_3180_01_000005   ip-10-10-9-125.us-west-2.compute.internal用于ID为4的执行程序   18/12/21 00:15:25 INFO YarnAllocator：从YARN接收了4个容器，   在其中4个上启动执行程序。 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：   yarn.client.max-cached-nodemanagers-代理：0 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：   yarn.client.max-cached-nodemanagers-代理：0 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：   yarn.client.max-cached-nodemanagers-代理：0 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：   yarn.client.max-cached-nodemanagers-代理：0 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：正在打开代理：   ip-10-10-9-236.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：正在打开代理：   ip-10-10-9-16.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：正在打开代理：   ip-10-10-9-125.us-west-2.compute.internal：8041 18/12/21 00:15:25 INFO   ContainerManagementProtocolProxy：正在打开代理：   ip-10-10-9-180.us-west-2.compute.internal：8041 18/12/21 00:15:30 INFO   YarnAllocator：驱动程序请求的执行者总数为0。   18/12/21 00:15:30 INFO ApplicationMaster $ AMEndpoint：驱动程序已终止   或断开连接！闭嘴10.10.9.98:33761 18/12/21 00:15:30   INFO ApplicationMaster $ AMEndpoint：驱动程序已终止或已断开连接！   闭嘴10.10.9.98:33761 18/12/21 00:15:30 INFO   ApplicationMaster：最终应用状态：成功，退出代码：0 18/12/21   00:15:30 INFO ApplicationMaster：使用以下方法注销ApplicationMaster   成功18/12/21 00:15:30信息AMRMClientImpl：等待   申请成功注销。 18/12/21 00:15:30 INFO   ApplicationMaster：删除暂存目录   hdfs：//ip-10-10-9-98.us-west-2.compute.internal：8020 / user / hadoop / .sparkStaging / application_1544720011085_3180   18/12/21 00:15:30 INFO ShutdownHookManager：名为Shutdown的钩子

     

日志类型：标准输出

     

日志上传时间：2018年12月21日星期五12：00：15：32 +0000

     

日志长度：0

感谢与问候， 丹尼斯