schematool Hive 1.1.0的亚稳态验证失败

时间:2017-09-08 13:39:48

标签: hive cloudera

我刚刚部署了Cloudera 5.12,我正在安装Hive。按照说明操作,我运行

\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql

作为最后一步,创建Metastore。当我运行schematool验证时

schematool -dbType postgres -validate

我收到错误:

Validating metastore schema tables
Table(s) [ [compaction_queue, completed_txn_components, hive_locks, next_compaction_queue_id, next_lock_id, next_txn_id, txn_components, txns] ] are missing from the metastore database schema.
Failed in schema table validation.
[FAIL]

其他一切都是成功的,我可以毫无问题地访问Hive数据库。如何解决此错误?

2 个答案:

答案 0 :(得分:1)

我相信这是一个错误。这是我发现的:

$ find . -name "*.sql" -print |xargs grep compaction_queue
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);

如您所见,表next_compaction_queue_id仅存在于postgresql的模式版本0.14中。它不存在于任何其他版本或任何其他数据库类型中。我不相信这些是用的。如果您有Cloudera支持,请创建一个支持案例并请求支持人员创建一个jira。

解决方法是在hive-schema-0.14.0.postgres.sql文件中找到 CLAIMED 缺少表的表create语句,并将这些表添加到Hive Metastore数据库中。由于它们没有被使用,它不会对任何东西造成伤害,但它会消除你的schematool命令中的错误。

答案 1 :(得分:1)

我使用schematool重新创建了Hive Metastore。我不得不首先使用here

中的信息删除postgreSQL上的当前Metastore
> su - postgres
> psql

REVOKE CONNECT ON DATABASE thedb FROM public;
SELECT pid, pg_terminate_backend(pid) 
FROM pg_stat_activity 
WHERE datname = current_database() AND pid <> pg_backend_pid();
drop metastore;

然后使用

重新创建
/usr/lib/hive/bin/schematool -dbType postgres -initSchema -verbose -userName hiveuser -passWord thepassword

之后验证工作:

> /usr/lib/hive/bin/schematool -dbType postgres -validate
Starting metastore validation

Validating schema version
Succeeded in schema version validation.
[SUCCESS]

Validating sequence number for SEQUENCE_TABLE
Succeeded in sequence number validation for SEQUENCE_TABLE.
[SUCCESS]

Validating metastore schema tables
Succeeded in schema table validation.
[SUCCESS]

Validating DFS locations
Succeeded in DFS location validation.
[SUCCESS]

Validating columns for incorrect NULL values.
Succeeded in column validation for incorrect NULL values.
[SUCCESS]

Done with metastore validation: [SUCCESS]
schemaTool completed

所以我认为如果有错误,那就是在Metastore创建步骤:

\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql

详细介绍Cloudera installation manual