Question

我刚刚部署了Cloudera 5.12，我正在安装Hive。按照说明操作，我运行

\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql

作为最后一步，创建Metastore。当我运行schematool验证时

schematool -dbType postgres -validate

我收到错误：

Validating metastore schema tables
Table(s) [ [compaction_queue, completed_txn_components, hive_locks, next_compaction_queue_id, next_lock_id, next_txn_id, txn_components, txns] ] are missing from the metastore database schema.
Failed in schema table validation.
[FAIL]

其他一切都是成功的，我可以毫无问题地访问Hive数据库。如何解决此错误？

Answer 1

我相信这是一个错误。这是我发现的：

$ find . -name "*.sql" -print |xargs grep compaction_queue
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);

如您所见，表next_compaction_queue_id仅存在于postgresql的模式版本0.14中。它不存在于任何其他版本或任何其他数据库类型中。我不相信这些是用的。如果您有Cloudera支持，请创建一个支持案例并请求支持人员创建一个jira。

解决方法是在hive-schema-0.14.0.postgres.sql文件中找到 CLAIMED 缺少表的表create语句，并将这些表添加到Hive Metastore数据库中。由于它们没有被使用，它不会对任何东西造成伤害，但它会消除你的schematool命令中的错误。

Answer 2

我使用schematool重新创建了Hive Metastore。我不得不首先使用here：

中的信息删除postgreSQL上的当前Metastore

> su - postgres
> psql

REVOKE CONNECT ON DATABASE thedb FROM public;
SELECT pid, pg_terminate_backend(pid) 
FROM pg_stat_activity 
WHERE datname = current_database() AND pid <> pg_backend_pid();
drop metastore;

然后使用

重新创建

/usr/lib/hive/bin/schematool -dbType postgres -initSchema -verbose -userName hiveuser -passWord thepassword

之后验证工作：

> /usr/lib/hive/bin/schematool -dbType postgres -validate
Starting metastore validation

Validating schema version
Succeeded in schema version validation.
[SUCCESS]

Validating sequence number for SEQUENCE_TABLE
Succeeded in sequence number validation for SEQUENCE_TABLE.
[SUCCESS]

Validating metastore schema tables
Succeeded in schema table validation.
[SUCCESS]

Validating DFS locations
Succeeded in DFS location validation.
[SUCCESS]

Validating columns for incorrect NULL values.
Succeeded in column validation for incorrect NULL values.
[SUCCESS]

Done with metastore validation: [SUCCESS]
schemaTool completed

所以我认为如果有错误，那就是在Metastore创建步骤：

\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql

详细介绍Cloudera installation manual。

schematool Hive 1.1.0的亚稳态验证失败

2 个答案: