使用Apache Spark写入Google计算实例

时间:2018-06-25 13:06:40

标签: google-cloud-platform google-compute-engine apache-spark-2.0

我有一个安装了Spark版本2.2.0的4节点hadoop集群。我想将文件从本地群集移动到Google计算引擎实例。知道如何使用Apache Spark进行操作吗?任何帮助深表感谢!预先谢谢你。

1 个答案:

答案 0 :(得分:1)

有多种选项可用于将文件传输到Compute Engine实例[1]。

该视频[2]可以帮助您了解将Spark和Hadoop工作负载迁移到GCP。

[1] https://cloud.google.com/compute/docs/instances/transfer-files

[2] https://www.youtube.com/watch?v=NfxvjWSgplU