我正在使用AWS EMR集群来运行Hive。我希望能够强制执行某些表永远不应为空初始创建后,例如引用表,如果发现它们为空则抛出错误(或记录消息)并停止处理
有谁知道有任何方法可以达到这个目的?
由于
答案 0 :(得分:0)
您可以在主服务器上安装一个cron作业,该作业会定期对您的Hive表进行检查。此表为空后,您可以终止群集或停止作业流程或采取其他操作。可以使用EMR CLI工具http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-commands.html
执行这些操作这些命令也可以在Java程序中使用AWS SDK运行 - 如果您希望所有这些命令都是Java程序而不是脚本。
您尚未指定群集是持久性还是瞬态。如果它是持久的,则此脚本可以在主服务器之外运行。