使用Bluemix中的spark库的Python脚本

时间:2016-01-21 17:23:28

标签: python apache-spark ipython-notebook ibm-cloud

我正在尝试编写python脚本来调用Bluemix平台上的spark库。你介意给流量建议吗?

我在Bluemix创建了Apache Spark Analytic Service,并打开了一个iPython Notebook。但是,我无法使用!pip install <package>

安装新的python包

假设我已经解决了这个问题,我希望它能像一个应用程序,我可以在后台持续进行。有可能吗?

2 个答案:

答案 0 :(得分:3)

默认情况下,pip会安装到系统目录中。您无权这样做。相反,您需要包含--user pip选项才能为您的apache spark服务租户安装它。为了将来参考,请查看documentation for 3rd-party libraries

re:&#34;我可以在后台持续进行的应用程序&#34;。好吧,在IPython笔记本中,您可以编写运行的代码,无论您想要多长时间。实际上,您可以关闭这样一个笔记本的浏览器页面,笔记本内核将继续在服务器端保持活跃状态​​;如果需要,您可以显式关闭内核或稍后重新打开笔记本页面。

答案 1 :(得分:1)

另外,你可以采取另一种方式:

首先找到家庭目录:   print os.environ["HOME"]     然后将模块安装到此目录:!pip install <package> -t 'your home directory'

追加目录的路径:

 import sys, os      
sys.path.append("".join([os.environ["HOME"]])) 

最后导入模块:import <package>