在AWS Glue作业中加载Spark SQL脚本

时间:2019-01-25 17:37:43

标签: amazon-web-services apache-spark glue

我在保存为文本文件的AWS Athena表上有许多Spark SQL查询。是否可以将这些文本文件作为字符串变量加载,并在从动态框架投射的数据框架上的AWS Glue脚本中将它们用作数据框架SQL命令?假设我可以从Athena表中加载动态框架并将其对应的数据框架注册为Spark中的临时视图。

这是在AWS Glue作业中重用Spark SQL中开发的复杂数据转换。

0 个答案:

没有答案