如何在AWS Glue中将Github与数据目录集成

时间:2019-10-15 13:03:28

标签: github aws-glue aws-glue-data-catalog aws-data-pipeline

此问题与AWS Glue的数据目录有关。

我想建立一个像这样的过程:

将Github连接到AWS Glue数据目录->关于数据目录代码(源)的拉取请求->合并->在AWS Glue数据目录中反映修改后的代码->更改的数据目录信息由Markdown创建。或在Confluence中更新信息

这项工作的目的是使非开发人员可以阅读数据目录。

这可能吗? 我应该读什么文学? 欢迎任何建议!帮忙!

1 个答案:

答案 0 :(得分:1)

选项1: 您可以使用boto3胶水API检索有关表的信息-get_tableget_tables()

您可以参考https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.get_tables,其中还包含用法和响应示例。

一旦收到回复,您可以在网页上显示它。

优势:非技术人员无需任何设置即可访问

Disadvatange:开发人员必须编写代码

选项2:使用AWS CLI命令工具。链接:https://docs.aws.amazon.com/cli/latest/reference/glue/get-table.html

优点:无需开发人员提供代码

缺点:客户端应该知道如何设置和使用AWS CLI命令及其输出。