Question

我使用带scala的spark进行时间序列分析。我每次关闭和打开时都会在spark-shell中编写相同的脚本。我想建议如何从spark-shell保存我的脚本并在以后使用它。

我是否需要下载scala IDE，保存并在spark-shell中运行文件？
谢谢。

Answer 1

将脚本写入文件，例如script.scala

然后你可以运行：

    app.factory('tokenFactory', ['$http', function($http) { 
        function getToken() {
            $http({
              method: 'POST', 
              url: "../api/v1/getToken", 
              headers : {
                        'Content-Type':'application/json',
                        'X-API-KEY':'04g4g00c04ks4sokgkoosg0kwww0cww4www0kc80',
                        'Authorization':"Basic cGVzYXZlQXBwOkNDNTVzV0FwUW0zYWxpazlLNTcwTTFXQ1RNOUJ1TmZS"
                    },
              data: {"grant_type":"client_credentials"}
            })
        }

        return {getToken: getToken}
    }]);

这将启动spark-shell并执行你的脚本。

如果您想将shell保留在脚本末尾，请添加app.controller('homeCtrl', ['$scope','tokenFactory', function($scope,tokenFactory){ tokenFactory.getToken() .success(function(data) { $scope.token = data; var token=data.access_token; } }]) 到你的剧本。

Answer 2

如果您的代码很简单，最简单的方法是将代码保存为文本文件，并在需要时粘贴到spark shell中。

如果没有，你最好下载scala IDE（建议使用IDEA），编写一个spark应用程序，并使用spark-submit运行它。

在spark-shell中重用脚本

2 个答案: