加载到hive表时转换为镶木地板文件格式

时间:2016-01-08 07:31:07

标签: mysql hadoop

我们希望从mysql到hdfs进行实时复制,并将文件存储为hdfs集群中的镶木地板格式。

据我们所知,我们可以使用

来做到这一点 1)钨复制器或 2)Mysql服务器支持到hdfs的实时复制。

但我们的问题是,在将数据加载到hdfs时,它们都不支持转换为镶木地板。

所以只是想知道是否有任何方法可以在hdfs集群中将文件存储为镶木地板进行实时复制。

第二个问题是,当你使用“LOAD DATA INPATH”在hive表中加载csv文件并且如果表已被定义为Parquet文件格式时,会将文件转换为镶木地板格式,或者我们需要编写一个实用程序来转换文件到镶木地板格式,然后加载。

1 个答案:

答案 0 :(得分:0)

第二个问题:CREATE TABLE语句应该使用语法指定Parquet存储格式。 这一切归结为Hive的版本。某些版本不支持镶木地板文件