我正在尝试从节点js调用spark job server API。作为python egg文件的API确实提供了文件中的空值计数。因此,一旦我从节点调用API,它就会到达SJS服务器,并且作业启动会触发res.on('data')事件,不久之后,它会触发res.on('end')。 job完成它的执行并返回结果。因此,一旦作业完成,我无法获取数据。
以下是代码段,请告诉我这里的错误是什么。
var postData = {
'input': {
'strings': {
'file': 'file path to be passed'
}
}
};
var options = {
hostname: 'localhost',
port: 8090,
path: '/jobs?appName=my_ml_job&classPath=my_py_package.NullCheck.nullcheck&context=py-context',
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Content-Length': Buffer.byteLength(JSON.stringify(postData))
}
};
var post_req = Http.request(options, function(res) {
res.setEncoding('utf8');
res.on('data', function (chunk) {
console.log('Response: ' + chunk);
});
res.on('end', () => {
return{
'STATUS': 'FINISHED'
}
});
});
post_req.on('error', e => {
rj(e);
});
// post the data
post_req.write(postData);
post_req.end();