从Hive到Google Storage / Big Query的数据传输

时间:2017-07-07 05:00:06

标签: apache-spark google-bigquery google-cloud-platform google-cloud-storage google-cloud-dataflow

我在内部部署的hadoop集群中有一些Hive表 我需要将表格转移到谷歌云中的BigQuery。

您能否建议使用Google工具或任何开源工具进行数据传输?

提前致谢

1 个答案:

答案 0 :(得分:1)

BigQuery可以import Avro files

这意味着您可以执行INSERT overwrite table target_avro_hive_table SELECT * FROM source_hive_table;

之类的操作

然后,您可以通过bq命令行工具或使用控制台UI将基础.avro文件加载到BigQuery中:

bq load --source_format=AVRO your_dataset.something something.avro