我们希望从mysql到hdfs进行实时复制,并将文件存储为hdfs集群中的镶木地板格式。
据我们所知,我们可以使用
来做到这一点 1)钨复制器或 2)Mysql服务器支持到hdfs的实时复制。但我们的问题是,在将数据加载到hdfs时,它们都不支持转换为镶木地板。
所以只是想知道是否有任何方法可以在hdfs集群中将文件存储为镶木地板进行实时复制。
第二个问题是,当你使用“LOAD DATA INPATH”在hive表中加载csv文件并且如果表已被定义为Parquet文件格式时,会将文件转换为镶木地板格式,或者我们需要编写一个实用程序来转换文件到镶木地板格式,然后加载。
答案 0 :(得分:0)
第二个问题:CREATE TABLE语句应该使用语法指定Parquet存储格式。 这一切归结为Hive的版本。某些版本不支持镶木地板文件