我如何SERDE建立通用文件摄入Hive？

Question

我需要在Hive中构建通用文件。文件非常大（2GB +），可以是固定或逗号分隔，ASCII或EBCDIC文件。在尝试使用Talend的各种技术后，我正在研究SERDE。如果我按原样提取文件并使用模式文件（包含序号位置，列名，类型，长度），我可以创建一个自定义SERDE来将任何输入文件反序列化为配置单元行吗？它会有多高效？

Answer 1

自从提出这个问题以来，我发现我可以使用COBOL custom SERDE。 我也在寻找位置文件的正则表达式SERDE。