如何控制配置单元作业名称但保留舞台信息？

Question

我有许多hive查询，我的系统定期执行。当您查看作业跟踪器时，它们会显示为“SELECT字段，other_field .....（Stage-1）”等。这对我没有特别的帮助，所以我补充道：

set mapred.job.name = more helpful name;
到查询。现在我可以更好地区分他们。但是，现在我分成多个阶段的查询都显示为相同的名称。我理想地喜欢的是符合set mapred.job.name = more helpful name (Stage-%d); 。的内容 ％d将被当前阶段编号取代。
这有可能吗，有谁知道怎么做？

Answer 1

我不确定是否有办法完全按照您的意愿实施，但我可以提供其他内容 您可以使用set mapred.job.name在查询开头添加评论，而不是使用more helpful name，例如： -- this is a more helpful name
SELECT field, other_field ....

然后，在求职者中，您会看到-- this is a more helpful name ..... (Stage-%d)＆＃34;

Answer 2

我找到了这个网站： https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

就有一个名为： hive.query.string

所以set hive.query.string = even more helpful name应该有用。

它非常适合我。

Answer 3

我知道这是一个非常晚的回复，但无论如何，如果这有助于让我知道。

这是因为HIVE不允许在运行时设置某些参数。 如果您想设置它仍然按照以下步骤操作：

1. 以管理员身份登录Ambari UI。
2. 转到配置单元
3. 打开自定义HiveSite.xml
4. 添加以下键值对
   KEY：hive.security.authorization.sqlstd.confwhitelist.append
   VALUE：mapred.job.name
5. 重启HIVE服务

您可以在此配置中获得此运行时错误的任何键值对