是否可以在HDFS上运行二进制可执行文件?我必须处理HDFS上的某些文件。到目前为止,我的工作方式是hdfs dfs -get
将文件hdfs dfs -put
到本地服务器,进行处理,然后BaseHTTPRequestHandler
import json
import urllib.parse
from http.server import BaseHTTPRequestHandler, HTTPServer
import bson.json_util
class GetHandler(BaseHTTPRequestHandler):
def do_GET(self):
print("/n=================================")
json_string = '{"hello":"world"}'
self.wfile.write(json_string.encode())
self.send_response(200)
self.end_headers()
return
if __name__ == '__main__':
#from BaseHTTPServer import HTTPServer
server = HTTPServer(('localhost', 3030), GetHandler)
print ('Starting server, use <Ctrl-C> to stop')
server.serve_forever()
返回HDFS。但这有点麻烦,我宁愿只在HDFS上运行处理器二进制代码。这可能吗?