Node JS与spark作业服务器集成

时间:2018-05-08 19:28:05

标签: javascript python node.js apache-spark spark-jobserver

我正在尝试从节点js调用spark job server API。作为python egg文件的API确实提供了文件中的空值计数。因此,一旦我从节点调用API,它就会到达SJS服务器,并且作业启动会触发res.on('data')事件,不久之后,它会触发res.on('end')。 job完成它的执行并返回结果。因此,一旦作业完成,我无法获取数据。

以下是代码段,请告诉我这里的错误是什么。

        var postData = {
                'input': {
                    'strings': {
                        'file': 'file path to be passed'
                    }
                }
        };

        var options = {
            hostname: 'localhost',
            port: 8090,
            path: '/jobs?appName=my_ml_job&classPath=my_py_package.NullCheck.nullcheck&context=py-context',
            method: 'POST',
            headers: {
                'Content-Type': 'application/json',
                'Content-Length': Buffer.byteLength(JSON.stringify(postData))
            }
        };

        var post_req = Http.request(options, function(res) {
            res.setEncoding('utf8');
            res.on('data', function (chunk) {
                console.log('Response: ' + chunk);
            });

            res.on('end', () => {
                return{
                    'STATUS': 'FINISHED'
                }                   
            });
        });

        post_req.on('error', e => {
            rj(e);
        });

        // post the data
        post_req.write(postData);
        post_req.end();

0 个答案:

没有答案