我们正在尝试使用GCS Connector在HDP 2.1上运行Hive查询,它工作正常,直到昨天但从今天早上起我们的工作随机启动失败。当我们手动重启它们时它们工作正常。我怀疑这与在给定时间点运行的并行Hive作业数量有关。
以下是错误消息:
vertexId = vertex_1407434664593_37527_2_00,diagnostics = [顶点输入:audience_history初始化程序失败。,java.lang.ClassNotFoundException:类com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found] 由于顶点故障,DAG失败。 failedVertices:1 killedVertices:0 FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.tez.TezTask返回代码2
任何帮助都将受到高度赞赏。
谢谢!