我正在尝试使用Dbeaver并通过Spark Hive处理数据。连接稳定,因为以下命令有效:
select * from database.table limit 100
但是,只要我与简单的提取查询不同,我就会得到一个例外。例如。运行查询
select count(*) from database.table limit 100
导致异常:
SQL错误[2] [08S01]:org.apache.hive.service.cli.HiveSQLException:错误 处理语句时:FAILED:执行错误,返回代码2 来自org.apache.hadoop.hive.ql.exec.tez.TezTask。顶点失败, vertexName = Map 1,vertexId = vertex_1526294345914_23590_12_00, 诊断= [顶点vertex_1526294345914_23590_12_00 [地图1] 由于以下原因导致死亡/失败:ROOT_INPUT_INIT_FAILURE,顶点输入:发布 初始化程序失败,vertex = vertex_1526294345914_23590_12_00 [Map 1], com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: 错误请求(服务:Amazon S3;状态代码:400;错误代码:400错误 请求;请求ID:95BFFF20D13AECDA),S3扩展请求ID: fSbzZDf / Xi0b + CL99c5DKi8GYrJ7TQXj5 / WWGCiCpGa6JU5SGeoxA4lunoxPCNBJ2MPA3Hxh14M =
有人可以帮助我吗?
答案 0 :(得分:0)
400 /错误请求是S3 / AWS Generic“不喜欢您的有效负载/请求/身份验证”响应。 ASF S3A docs中有一些细节,但这是ASF连接器,而不是亚马逊连接器(你的是堆栈跟踪)。 v4认证桶的坏端点通常是问题#1,之后......谁知道?
hadoop fs -ls s3://bucket/path
操作。