Impala：从mysql转储创建镶木地板

Question

我有mysql转储，如何使用Impala将它们转换成镶木地板文件格式？

我知道我可以用CSV创建镶木地板文件，但我想直接创建镶木地板文件而不需要这么做。

Answer 1

我通常使用两个步骤，但我肯定有更好的方法。我们使用这种方式将镶木地板保持在线，以便在更新期间提供尽可能多的不间断服务。

sqoop import --table <mysql_table> --hive-import --hive-table <hive_text_table>

impala-shell -i <impala_ip_addr> -q 'use <db>; INVALIDATE METADATA <hive_text_table>; CREATE TABLE <parquet_table> LIKE <hive_text_table> STORED AS PARQUET; INSERT OVERWRITE <parquet_table> SELECT * FROM <hive_text_table>;'

有点长的啰嗦，但万一你没有得到任何其他答案。