标签: amazon-web-services apache-spark glue
我在保存为文本文件的AWS Athena表上有许多Spark SQL查询。是否可以将这些文本文件作为字符串变量加载,并在从动态框架投射的数据框架上的AWS Glue脚本中将它们用作数据框架SQL命令?假设我可以从Athena表中加载动态框架并将其对应的数据框架注册为Spark中的临时视图。
这是在AWS Glue作业中重用Spark SQL中开发的复杂数据转换。