我有一个csv文件,其中包含大约一千个不同的列,我希望将其转换为Hive表和HCatalog架构,而无需单独键入每个字段。这可能吗?如果是这样,有人可以指出我正确的方向,谢谢。
答案 0 :(得分:0)
我更倾向于使用java程序来解决这个问题。请确保CSV文件头是hive或hcatalog表所需的列... Java附带CSVReader,它可以读取CSV文件的标题。将这些标题添加到数组列表中。使用JDbc或Webhcat在hive和hcatalog上创建表。对于jdbc迭代遍历列表,同时在表中添加列。 webhcat也可以采用相同的方法。