使用Hadoop / Hive进行管道的架构/技术建议

Question

我的架构由几个阶段构成。

1. ETL putting files on HDFS file system.
2. Hive running sql scripts on top of Hadoop and generating result set table.
3. The table is converted into XML
4. the XML is being uploaded to another location using http post.

我们发现我们自己在Hive sql＆bash和bash脚本上有逻辑。不确定这是否是正确的做法。

我正在寻找一个pipleline框架来帮助我解决这个架构（Java / Spring或其他任何架构）。

有什么建议吗？例子？我试过PIG，但我们有并发症。

谢谢， 射线。