要在群集之间复制的HAWQ数据

Question

我有一个要求，我需要每天将生产HAWQ数据库刷新到QA环境。

如何将每日增量从生产中移入QA群集。

感谢您的帮助

由于 Veeru

Answer 1

无耻的自我插件 - 看看下面的开放PR，使用Apache Falcon编排DR批处理作业，看看它是否符合您的需求。

https://github.com/apache/incubator-hawq/pull/940

以下是该过程的概要：

1. 运行Exception in thread "main" java.util.NoSuchElementException at java.util.ArrayList$Itr.next(ArrayList.java:854) at java.util.Collections.max(Collections.java:669) at largestPalindromeProduct.main(largestPalindromeProduct.java:18) 以捕获已知良好的HDFS文件大小（如果同步期间出现故障，则可防止HDFS /目录不一致）
2. 运行ETL批处理（如果有）
3. 运行hawqsync-extract，执行以下步骤：
   1. 停止两个HAWQ主人（来源和目标）
   2. 将源代码hawqsync-falcon（MDD）归档到HDFS
   3. 重新启动源HAWQ主服务器
   4. 启用HDFS安全模式并强制源检查点
   5. 禁用源和远程HDFS安全模式
   6. 执行基于Apache Falcon的distcp同步过程
   7. 启用HDFS安全模式并强制远程检查点

还有一个具有设计描述的JIRA：

https://issues.apache.org/jira/browse/HAWQ-1078