根据AWS Glue数据目录文档https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html
不支持临时表。
我不清楚还是在Temporary tables
下我还可以考虑可以通过Temporary views
方法在Apache Spark中创建的DataFrame.createOrReplaceTempView
吗?
因此,换句话说-我无法对AWS Glue和AWS Glue数据目录使用DataFrame.createOrReplaceTempView
方法,对吗?我现在只能使用AWS Glue和AWS Glue数据目录来处理永久表/视图,并且必须将AWS EMR集群用于全功能Apache Spark功能?
答案 0 :(得分:1)
您可以在AWS Glue中使用DataFrame.createOrReplaceTempView()。您必须使用toDF()将动态框架转换为数据框架。
但是这些视图将保留在当前胶水作业实例的范围内,并且其他胶水作业或同一作业或雅典娜的其他实例将无法访问这些视图