bluemix spark作为服务 - 如何使用cygwin运行spark-submit.sh?

时间:2016-05-19 06:44:47

标签: apache-spark ibm-cloud

bluemix上提供的自定义spark-submit.sh脚本声明了以下限制:

  

限制:Linux和Mac OS X支持运行spark-submit.sh脚本。

来源 https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

假设只有正确的二进制文件可用,脚本也可以与cygwin一起使用,例如bashsedgrepcurlhash

1 个答案:

答案 0 :(得分:2)

我不明白为什么它不应该在Cygwin中起作用,但可能有些事情可能会失败,当你测试不同的场景时你会知道。

我用cygwin和非常简单的程序hellopy.py测试了这个,打印出了sparkcontext版本,它运行正常。

我得到所有文件stdout,sterr,spark-submit_xxx.log。所以卷曲有效。

这是我在安装cygwin时安装的内容(bash,sed,grep,curl,hash和OPENSSL,libdev)。获取所有更高版本。(Curl 7.471.libcurl 7.48,OpenSSL 1.0.2 libssh)

这就是我卷曲时所看到的-V $ curl -V 卷曲7.47.1(i686-pc-cygwin)libcurl / 7.48.0 OpenSSL / 1.0.2h zlib / 1.2.8 libidn / 1.29 libpsl / 0.13.0(+ libidn / 1.29)libssh2 / 1.7.0 nghttp2 / 1.7.1 协议:dict文件ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp 功能:调试IDN IPv6大文件GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets Metalink PSL

注意: - 当您在cygwin安装页面中搜索上述库时,只需检查其他支持库,如perl和其他内容(无论建议如何)。

我希望它有所帮助。 在正式测试之前,请将上述内容视为临时解决方案。

谢谢, 查尔斯。