我刚刚部署了Cloudera 5.12,我正在安装Hive。按照说明操作,我运行
\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql
作为最后一步,创建Metastore。当我运行schematool验证时
schematool -dbType postgres -validate
我收到错误:
Validating metastore schema tables
Table(s) [ [compaction_queue, completed_txn_components, hive_locks, next_compaction_queue_id, next_lock_id, next_txn_id, txn_components, txns] ] are missing from the metastore database schema.
Failed in schema table validation.
[FAIL]
其他一切都是成功的,我可以毫无问题地访问Hive数据库。如何解决此错误?
答案 0 :(得分:1)
我相信这是一个错误。这是我发现的:
$ find . -name "*.sql" -print |xargs grep compaction_queue
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-txn-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "compaction_queue" (
./postgres/hive-schema-0.14.0.postgres.sql:CREATE TABLE "next_compaction_queue_id" (
./postgres/hive-schema-0.14.0.postgres.sql:INSERT INTO "next_compaction_queue_id" VALUES(1);
如您所见,表next_compaction_queue_id
仅存在于postgresql的模式版本0.14中。它不存在于任何其他版本或任何其他数据库类型中。我不相信这些是用的。如果您有Cloudera支持,请创建一个支持案例并请求支持人员创建一个jira。
解决方法是在hive-schema-0.14.0.postgres.sql
文件中找到 CLAIMED 缺少表的表create语句,并将这些表添加到Hive Metastore数据库中。由于它们没有被使用,它不会对任何东西造成伤害,但它会消除你的schematool命令中的错误。
答案 1 :(得分:1)
我使用schematool
重新创建了Hive Metastore。我不得不首先使用here:
> su - postgres
> psql
REVOKE CONNECT ON DATABASE thedb FROM public;
SELECT pid, pg_terminate_backend(pid)
FROM pg_stat_activity
WHERE datname = current_database() AND pid <> pg_backend_pid();
drop metastore;
然后使用
重新创建/usr/lib/hive/bin/schematool -dbType postgres -initSchema -verbose -userName hiveuser -passWord thepassword
之后验证工作:
> /usr/lib/hive/bin/schematool -dbType postgres -validate
Starting metastore validation
Validating schema version
Succeeded in schema version validation.
[SUCCESS]
Validating sequence number for SEQUENCE_TABLE
Succeeded in sequence number validation for SEQUENCE_TABLE.
[SUCCESS]
Validating metastore schema tables
Succeeded in schema table validation.
[SUCCESS]
Validating DFS locations
Succeeded in DFS location validation.
[SUCCESS]
Validating columns for incorrect NULL values.
Succeeded in column validation for incorrect NULL values.
[SUCCESS]
Done with metastore validation: [SUCCESS]
schemaTool completed
所以我认为如果有错误,那就是在Metastore创建步骤:
\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-1.1.0.postgres.sql