Datalab中的代码

Question

有人可以集成Dataproc，Datalab和源代码存储库吗？正如我们许多人所看到的那样，当您调用初始化操作来安装datalab时，它不会创建源代码存储库。我正在尝试实现一个完整的端到端解决方案，其中用户登录到datalab笔记本，通过Pyspark与Dataproc交互，然后将笔记本签入源代码存储库。我无法像我之前指出的那样使用init操作来做到这一点。我也尝试先安装dataproc，然后再安装datalab作为单独的安装（这次它将创建源存储库），但是，我无法在此datalab笔记本上运行任何spark代码。有人可以给我一些如何实现这一目标的指示吗？一切都很感激。

Datalab中的代码

from pyspark.sql import HiveContext
hc=HiveContext(sc)
hc.sql("""show databases""").show()
hc.sql("""CREATE EXTERNAL TABLE IF NOT EXISTS INVOICES
      (SubmissionDate DATE, TransactionAmount DOUBLE, TransactionType STRING)
      STORED AS PARQUET
      LOCATION 'gs://my-exercise-project-2019016-ds-team/datasets/invoices'""")
hc.sql("""select * from invoices limit 10""").show()

错误

Py4JJavaError: An error occurred while calling o55.sql.
: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2395)
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3208)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3240)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:121)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3291)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3259)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:470)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:356)
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$or

Answer 1

不幸的是，需要通过一些准备工作才能通过初始化操作在Cloud Source Repository中创建datalab-notebooks存储库。

原因是，创建存储库需要VM的服务帐户对项目具有“ source.repos.create” IAM权限，默认情况下不正确。

您可以将该权限授予服务帐户，然后通过gcloud source repos create datalab-notebooks创建存储库，或者在创建集群之前手动创建存储库。

然后，要在启动脚本中克隆存储库，请添加以下行：

mkdir -p ${HOME}/datalab
gcloud source repos clone datalab-notebooks ${HOME}/datalab/notebooks

如果您要修改Datalab的固定初始化操作，那么我建议添加这些行here

与Dataproc + Datalab +源代码存储库集成

Datalab中的代码

1 个答案: