如何将Spark数据集持久保存到MAPR HDFS和GCP存储

时间:2019-02-25 09:22:15

标签: apache-spark google-cloud-platform apache-spark-sql

我想找出是否有可能制作一个简单的spark程序,该程序在MAPR集群上运行,并将结果数据集持久存储在本地HDFS和GCP存储中。

我知道可以使用 gsutil 将文件从HDFS复制到GCS,但这不是我想要的。

请在spark-shell中查看简化的代码

    private void newInput() {
    cash_amount.setText("");
    StringBuilder sb = new StringBuilder(" $ ");
    String userText = cash_amount.getText().toString();
    cash_amount.setText(sb.append(userText));
}

感谢您的帮助。

0 个答案:

没有答案