已经存在的表

Question

我在名为hadoop的计算机上安装了NameNode服务。

core-site.xml文件将fs.defaultFS（相当于fs.default.name）设置为以下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop:8020</value>
</property>

我有一个非常简单的表test_table，目前存在于HDFS上的Hive服务器中。也就是说，它存储在/user/hive/warehouse/test_table下。它是在Hive中使用一个非常简单的命令创建的：

CREATE TABLE new_table (record_id INT);

如果我尝试在本地将数据加载到表中（即使用LOAD DATA LOCAL），则一切都按预期进行。但是，如果数据存储在HDFS上并且我想从那里加载，则会出现问题。

我运行一个非常简单的查询来尝试此加载：

hive> LOAD DATA INPATH '/user/haduser/test_table.csv' INTO TABLE test_table;

这样做会导致以下错误：

FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''/user/haduser/test_table.csv'':
Move from: hdfs://hadoop:8020/user/haduser/test_table.csv to: hdfs://localhost:8020/user/hive/warehouse/test_table is not valid.
Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict.

如错误所述，它正在尝试从hdfs://hadoop:8020/user/haduser/test_table.csv移至hdfs://localhost:8020/user/hive/warehouse/test_table。第一条路径是正确的，因为它引用了hadoop:8020;第二个路径不正确，因为它引用了localhost:8020。

core-site.xml文件明确指出要使用hdfs://hadoop:8020。 hive.metastore.warehouse中的hive-site.xml值正确指向/user/hive/warehouse。因此，我怀疑这个错误信息是否有任何真正的价值。

如何在创建表时让Hive服务器使用正确的NameNode地址？

Answer 1

我发现Hive Metastore跟踪每个表的位置。您可以在Hive控制台中看到该位置正在运行以下内容。

hive> DESCRIBE EXTENDED test_table;

因此，如果在{Metorore服务仍在运行时{I}}中的NameNode已更改，则会出现此问题。因此，要解决此问题，应在该计算机上重新启动该服务：

core-site.xml

然后，Metastore将对新创建的表使用新的$ sudo service hive-metastore restart。

已经存在的表

可以通过运行以下命令集来更正已存在的表的位置。这些是从Cloudera documentation获得的，用于配置Hive Metastore以使用高可用性。

fs.defaultFS

更正NameNode位置：

$ /usr/lib/hive/bin/metatool -listFSRoot
...
Listing FS Roots..
hdfs://localhost:8020/user/hive/warehouse
hdfs://localhost:8020/user/hive/warehouse/test.db

现在列出的NameNode是正确的。

$ /usr/lib/hive/bin/metatool -updateLocation hdfs://hadoop:8020 hdfs://localhost:8020

Hive没有完全遵守core-site.xml中的fs.default.name/fs.defaultFS值

1 个答案:

已经存在的表