我已在带有Java 8 HDI 3.6的Spark 2.2上配置了Azure HDInsight群集类型ML Services(R服务器),操作系统Linux,版本ML Services 9.3。
我能够通过SSH访问在头节点上登录Rstudio并运行脚本
从本教程开始-https://blogs.msdn.microsoft.com/azuredatalake/2017/06/26/run-h2o-ai-in-r-on-azure-hdinsight/
位于此处:
https://bostoncaqs.blob.core.windows.net/scriptaction/install-h2opackages.sh
将与H2o相关的软件包安装到头节点和工作节点。
当我运行库(sparklyr)和库(dplyr)时,它可以正常工作,但是Rstudio找不到h2o软件包,当我尝试安装h2o软件包时,它失败了,因为未安装RCurl。然后,当我尝试安装RCurl时,出现以下错误“错误:找不到'RCurl'所需的程序包'bitops'”。当我安装bitops时,它可以成功安装,但是RCurl似乎没有在HDInsight头节点VM的硬盘驱动器上的默认安装目录temp文件夹中找到bitops软件包。
我的问题是,如何让Rstudio服务器识别HDInsight头节点上软件包的安装位置?安装每个软件包时,我使用的是默认安装目录,但后续的软件包无法识别已安装的依赖软件包。
谢谢!
答案 0 :(得分:0)
当我在所有节点上安装软件包时,我没有意识到我没有在Edge节点下安装软件包。