Question

我想将HDFS（gzip）数据复制到Vetica中。

我正在使用以下命令。但它不起作用

COPY pix001 SOURCE Hdfs（url =＆＃39; http://hadoopnemenode.com:50070/webhdfs/v1/bq-upload/pix/m=03/d=01/03-01.txt.gz＆＃39;，username =＆＃39; xyz＆＃39;）GZIP DELIMITER E＆＃39; \ t＆＃39;;

任何人都知道更好的方法来做到这一点

由于

Answer 1

是的，GZIP支持只需要编译GZIP库[Vertica Guys最终帮助了我:)]

以下是步骤：

#cd / opt / vertica / sdk / examples /
#make
＃vsql -f FilterFunctions.sql
dbadmin =＆GT; CREATE LIBRARY GZipLib AS＆＃39; /opt/vertica/sdk/examples/build/GZipLib.so' ;;
dbadmin =＆GT;创建过滤器GZip AS LANGUAGE＆＃39; C ++＆＃39; NAME＆＃39; GZipUnpackerFactory＆＃39; LIBRARY GZipLib;

COPY abc002 SOURCE Hdfs（url =＆＃39; http://hadoop-namenode.com:50070/webhdfs/v1/03-01.txt.gz＆＃39;，username =＆＃39; xyz＆＃39;）过滤器GZip（）DELIMITER E＆＃39; \ t＆＃39 ;;

Answer 2

添加roy回答，

下面给出了制作（构建）的步骤，（＃roy回答的第二步）

sudo apt-get install g++ 
sudo apt-get install zlib1g-dev  # for gzip 
g++ -lz -D HAVE_LONG_INT_64 -I /opt/vertica/sdk/include -Wall -shared -Wno-unused-value    -fPIC -o /opt/vertica/sdk/examples/build/GZipLib.so /opt/vertica/sdk/examples/FilterFunctions/GZip.cpp /opt/vertica/sdk/include/Vertica.cpp

提示：-lz标志将zlib库静态链接到GZip.so

Vertica Documentation for compiling UDF

Answer 3

从HDFS复制是否支持GZIP？：

https://my.vertica.com/docs/7.0.x/HTML/Content/Authoring/HadoopIntegrationGuide/HDFSConnector/LoadingDataFromHDFS.htm

在任何情况下，我都不会在该文档中看到它。

将GZIP HDFS数据复制到vertica中

3 个答案: