标签： pyspark apache-spark-sql amazon-emr aws-glue
我计划在AWS的EMR上运行我的Spark SQL作业，并且计划使用AWS的Glue Metastore来保存表的架构和文件位置元数据。我面临的问题是我不确定如何隔离测试环境和产品环境。有时我可能会向表中添加新列，并且我想在对生产进行更改之前在测试环境中测试该逻辑。看来，Glue Metastore的每个数据库表对仅支持一个条目，这意味着test和prod将指向同一Glue Metastore记录，因此，我对测试环境所做的任何更改也会立即影响prod。其他人如何解决这个问题？