使用Sqoop将大型机数据提取到Hadoop中

时间:2015-09-18 11:45:15

标签: hadoop hdfs sqoop mainframe

我发现Sqoop 1.4.6可以连接到大型机它可以从大型机PDS中提取数据并放入HDFS / Hive / Hbase或Accumulo。

我想知道它是否支持压缩十进制数据类型或只是简单的数据类型? 有人可以帮助我理解Sqoop 1.4.6支持的所有大型机文件格式。

提前致谢

参考 https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

2 个答案:

答案 0 :(得分:1)

嗨,根据我的分析,没有支持打包小数,实际上如果文件包含十进制数据,其余的数据也会被搞砸。有关详细信息,请参阅http://rbheemana.github.io/reality-of-sqoop-mainframe/

答案 1 :(得分:0)

根据文档“ 9.2.6文件格式” ...

“ ......默认情况下,数据集中的每个记录都以文本记录的形式存储,末尾有换行符。假定每个记录包含一个名称为DEFAULT_COLUMN的单个文本字段。当Sqoop将数据导入HDFS时,它会生成一个Java类,该类可以重新解释它创建的文本文件。...“