我正在使用Vertica 7.2并尝试访问HDFS中的ORC数据。 HDFS中的目录位置为/etc/hadoop/conf
,其中所有ORC文件都是以ORC格式存储的Hive表的基础。
Vertica中的hadoopConfDir参数已设置为/etc/hadoop/conf/
。来自单独的hadoop群集的hadoop conf目录已复制到CREATE EXTERNAL TABLE test (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/*' on any node orc;
下的Vertica群集中的每个节点。我使用以下命令从hdfs位置读取外部Vertica表:
select * from test;
Error opening file [hdfs:///user/<path_to_ORC_dir>/000004_0] for read: Could not find HDFS configurations for [hdfs:///user/<path_to_ORC_dir>/000004_0]
但是,当我尝试从表中查询时,我收到以下错误
CREATE EXTERNAL TABLE test1 (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/000004_0' on any node orc;
select * from test1;
...correct results...
我的ORC文件名为0 ... _ 0,每次查询时,错误中指定的文件都会更改。
当我使用错误的指定文件而不是整个目录创建表时,我可以毫无问题地查询表。
l
尝试读取整个目录而不是单个文件时,HDFS配置错误的原因是什么?另外需要注意的是,我可以查询构建在&#39; hdfs:/// user //&#39;上的Hive表。没有任何问题。