我在内部部署的hadoop集群中有一些Hive表 我需要将表格转移到谷歌云中的BigQuery。
您能否建议使用Google工具或任何开源工具进行数据传输?
提前致谢
答案 0 :(得分:1)
BigQuery可以import Avro files。
这意味着您可以执行INSERT overwrite table target_avro_hive_table SELECT * FROM source_hive_table;
然后,您可以通过bq
命令行工具或使用控制台UI将基础.avro文件加载到BigQuery中:
bq load --source_format=AVRO your_dataset.something something.avro