bluemix上提供的自定义spark-submit.sh脚本声明了以下限制:
限制:Linux和Mac OS X支持运行spark-submit.sh脚本。
假设只有正确的二进制文件可用,脚本也可以与cygwin一起使用,例如bash
,sed
,grep
,curl
,hash
?
答案 0 :(得分:2)
我不明白为什么它不应该在Cygwin中起作用,但可能有些事情可能会失败,当你测试不同的场景时你会知道。
我用cygwin和非常简单的程序hellopy.py测试了这个,打印出了sparkcontext版本,它运行正常。
我得到所有文件stdout,sterr,spark-submit_xxx.log。所以卷曲有效。
这是我在安装cygwin时安装的内容(bash,sed,grep,curl,hash和OPENSSL,libdev)。获取所有更高版本。(Curl 7.471.libcurl 7.48,OpenSSL 1.0.2 libssh)
这就是我卷曲时所看到的-V $ curl -V 卷曲7.47.1(i686-pc-cygwin)libcurl / 7.48.0 OpenSSL / 1.0.2h zlib / 1.2.8 libidn / 1.29 libpsl / 0.13.0(+ libidn / 1.29)libssh2 / 1.7.0 nghttp2 / 1.7.1 协议:dict文件ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp 功能:调试IDN IPv6大文件GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets Metalink PSL
注意: - 当您在cygwin安装页面中搜索上述库时,只需检查其他支持库,如perl和其他内容(无论建议如何)。
我希望它有所帮助。 在正式测试之前,请将上述内容视为临时解决方案。
谢谢, 查尔斯。