从Vertica读取HDFS中的ORC数据时出现HDFS配置错误

时间:2018-02-20 23:00:04

标签: hadoop hdfs vertica orc

我正在使用Vertica 7.2并尝试访问HDFS中的ORC数据。 HDFS中的目录位置为/etc/hadoop/conf,其中所有ORC文件都是以ORC格式存储的Hive表的基础。

Vertica中的hadoopConfDir参数已设置为/etc/hadoop/conf/。来自单独的hadoop群集的hadoop conf目录已复制到CREATE EXTERNAL TABLE test (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/*' on any node orc; 下的Vertica群集中的每个节点。我使用以下命令从hdfs位置读取外部Vertica表:

select * from test;

Error opening file [hdfs:///user/<path_to_ORC_dir>/000004_0] for read: Could not find HDFS configurations for [hdfs:///user/<path_to_ORC_dir>/000004_0]

但是,当我尝试从表中查询时,我收到以下错误

CREATE EXTERNAL TABLE test1 (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/000004_0' on any node orc;

select * from test1;
...correct results...

我的ORC文件名为0 ... _ 0,每次查询时,错误中指定的文件都会更改。

当我使用错误的指定文件而不是整个目录创建表时,我可以毫无问题地查询表。

l

尝试读取整个目录而不是单个文件时,HDFS配置错误的原因是什么?另外需要注意的是,我可以查询构建在&#39; hdfs:/// user //&#39;上的Hive表。没有任何问题。

0 个答案:

没有答案