Question

我遇到了将.json文件转换为需要上传到AWS Redshift的文件格式的困境。我按照这些文章继续进行：

https://aws.amazon.com/blogs/big-data/simplify-querying-nested-json-with-the-aws-glue-relationalize-transform/

https://github.com/aws-samples/aws-glue-samples/blob/master/examples/join_and_relationalize.md

作为两篇文章说明的一部分，必须启动DevEndpoint笔记本。我成功创建了它，但是我无法运行任何查询，因为我无法找到任何脚本编辑器，如下所示。

Please click to see image of issue

我错过了任何配置吗？

我需要转换JSON文件，我甚至还没有完成它。

Answer 1

您是如何设置开发端点的？它是AWS Glue提供的Dev Endpoint服务器还是本地安装的笔记本电脑？如果提供更多信息，可以帮助解决您的问题。

无论如何，请参阅here和setting up zeppelin on windows，以获取有关设置本地开发环境的任何帮助。 zeppelin笔记本。

设置zeppelin笔记本后，建立SSH连接（使用AWS Glue DevEndpoint URL），这样您就可以访问数据目录/爬虫等，以及数据所在的S3存储桶。然后，您可以在zeppelin笔记本中创建python脚本，并从zeppelin运行。

您可以使用Glue提供的开发实例，但您可能会因此而产生额外费用（EC2实例费用）。

环境设置（根据评论更新）：

JAVA_HOME=E:\Java7\jre7
Path=E:\Python27;E:\Python27\Lib;E:\Python27\Scripts;
PYTHONPATH=E:\spark-2.1.0-bin-hadoop2.7\python;E:\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip;E:\spark-2.1.0-bin-hadoop2.7\python\lib\pys
park.zip
SPARK_HOME=E:\spark-2.1.0-bin-hadoop2.7

相应地更改驱动器名称/文件夹。如果有任何帮助，请告诉我。

此致

AWS devendpoint Zepelin Notebook没有脚本编辑器

1 个答案: