在Dataproc集群

Question

我试图在我的Dataproc群集上安装Jupyter notebook / Datalab，但没有用。

我遵循本教程：https://cloud.google.com/dataproc/docs/tutorials/dataproc-datalab

一步一步：

1. 我创建了一个名为datalab-init-bucket-001的新GS Bucket，并从GitHub上传datalab.sh脚本https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/blob/master/datalab/datalab.sh

2. 然后使用gcloud通过--initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'命令启动Dataproc，整个命令如下：

   gcloud dataproc create cluster-test --subnet default --zone "" --master-machine-type n1-standard-4 --master-boot-disk-size 10 --num-workers 2 --worker-machine-type n1-standard-2 --worker-boot-disk-size 10 --initialization-action-timeout "10h" --initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'

这里出现了第一个问题：

查看日志：

  

确定＆gt;将脚本[gs：//datalab-init-bucket-001/datalab.sh]下载到   [在/ etc /谷歌dataproc /启动的脚本/ dataproc初始化脚本-0]

     

确定＆gt;运行脚本   [在/ etc /谷歌dataproc /启动的脚本/ dataproc初始化脚本-0]   并在[/var/log/dataproc-initialization-script-0.log]中保存输出

     

确定＆gt; DIR * completeFile：   /user/spark/eventlog/.cc2b1d00-4968-4008-87d7-eac090b09e56已关闭   作者：DFSClient_NONMAPREDUCE_1150019196_1

     

错误＆gt; AgentRunner启动失败：   com.google.cloud.hadoop.services.agent.AgentException：初始化   操作无法启动（错误= 2，没有此类文件或目录）。失败   action＆＃39; gs：//datalab-init-bucket-001/datalab.sh' （TASK_FAILED）at   com.google.cloud.hadoop.services.agent.AgentException $ Builder.build（AgentException.java:83）     在   com.google.cloud.hadoop.services.agent.AgentException $ Builder.buildAndThrow（AgentException.java:79）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.throwInitActionFailureException（BootstrapActionRunner.java:236）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runSingleCustomInitializationScriptWithTimeout（BootstrapActionRunner.java:146）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runCustomInitializationActions（BootstrapActionRunner.java:126）     在   com.google.cloud.hadoop.services.agent.AbstractAgentRunner.runCustomInitializationActionsIfFirstRun（AbstractAgentRunner.java:150）     在   com.google.cloud.hadoop.services.agent.MasterAgentRunner.initialize（MasterAgentRunner.java:165）     在   com.google.cloud.hadoop.services.agent.AbstractAgentRunner.start（AbstractAgentRunner.java:68）     在   com.google.cloud.hadoop.services.agent.MasterAgentRunner.start（MasterAgentRunner.java:36）     在   com.google.cloud.hadoop.services.agent.AgentMain.lambda $启动$ 0（AgentMain.java:63）     在   com.google.cloud.hadoop.services.agent.AgentStatusReporter.runWith（AgentStatusReporter.java:52）     在   com.google.cloud.hadoop.services.agent.AgentMain.boot（AgentMain.java:59）     在   com.google.cloud.hadoop.services.agent.AgentMain.main（AgentMain.java:46）   引起：java.io.IOException：无法运行程序   的＆＃34;在/ etc /谷歌dataproc /启动的脚本/ dataproc初始化脚本-0＆＃34;：   错误= 2，没有此类文件或目录   java.lang.ProcessBuilder.start（ProcessBuilder.java:1048）at   com.google.cloud.hadoop.services.agent.util.NativeAsyncProcessWrapperFactory.startAndWrap（NativeAsyncProcessWrapperFactory.java:33）     在   com.google.cloud.hadoop.services.agent.util.NativeAsyncProcessWrapperFactory.startAndWrap（NativeAsyncProcessWrapperFactory.java:27）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.createRunner（BootstrapActionRunner.java:349）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runScriptAndPipeOutputToGcs（BootstrapActionRunner.java:301）     在   com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runSingleCustomInitializationScriptWithTimeout（BootstrapActionRunner.java:142）     ... 9更多抑制：java.io.IOException：无法运行程序   ＆＃34;在/ etc /谷歌dataproc /启动的脚本/ dataproc初始化脚本-0＆＃34 ;:   错误= 2，没有这样的文件或目录... 15更多引起：   java.io.IOException：error = 2，没有这样的文件或目录   java.lang.UNIXProcess.forkAndExec（Native Method）at   java.lang.UNIXProcess。（UNIXProcess.java:247）at   java.lang.ProcessImpl.start（ProcessImpl.java:134）at   java.lang.ProcessBuilder.start（ProcessBuilder.java:1029）...还有14个   引起：java.io.IOException：error = 2，没有这样的文件或目录   java.lang.UNIXProcess.forkAndExec（Native Method）at   java.lang.UNIXProcess。（UNIXProcess.java:247）at   java.lang.ProcessImpl.start（ProcessImpl.java:134）at   java.lang.ProcessBuilder.start（ProcessBuilder.java:1029）...还有14个       undefinedE AgentRunner启动失败：

1. ＆＃34;手动＆＃34;主节点VM上的安装也失败了：

我以某种方式设法在单节点集群上启动Datalab。但我无法在那里启动（py）Spark会话。

我运行最新的Dataproc图像版本（1.2），但是例如1.1也没有用。我有免费的信用帐户，但我想这不应该造成问题。

知道如何更新datalab.sh脚本以使其工作吗？

Answer 1

失败的原因似乎是不够大的磁盘。我在每个节点上从10 GB切换到50 GB磁盘大小，突然它工作。