最好的Vertica数据加载技术?

时间:2012-11-27 19:28:46

标签: vertica

大家好! - 我在查看如何将数据加载到Vertica时遇到一些问题!  我需要知道这里是否有任何Verticas dba!你们是怎么做到的?

我的意思是我有其他RDBMS作为前端,而Vertica在后面运行所有的辛苦工作等。  因为与vertica的事务处理效果不好!! (更新速度很差)。

所以,我需要一些帮助! 像一个复制工具,或者它是用脚本或ETL(哪个工具更好)完成的! THX

6 个答案:

答案 0 :(得分:1)

我使用Talend Open Studio(http://www.talend.com/)

they cooperates!

答案 1 :(得分:1)

尝试使用带有Direct Option的Vertica COPY命令。这是为了BULK加载。

答案 2 :(得分:0)

对于oracle,请看看wisdowforce。对于MySQL,请查看Tungsten replicator。或者您可以使用UDL /外部表。最后,有很多方法,需要更多的细节来确定最适合你的方式。

答案 3 :(得分:0)

  

我的意思是我有其他RDBMS作为前端而Vertica在后面运行   做所有的努力等。

我不明白这意味着其他系统上的数据与Vertica上的数据之间的关系。您的整体数据策略是什么? 你是否有需要加载块的单片文件?您对Vertica更新速度的投诉表明您可能有很多小更新?

如果您有大文件,最佳做法实际上是使用vsql本身加载,文件位于其中一个Vertica节点上。无论如何,这是最快的。 您可以编写一个加载程序,通过JDBC从远程计算机上传输大文件。这就是我公司的做法,而且速度相当快。

如果你想经常发送很多小行,那么Vertica就不那么好了。我们也这样做,但速度慢了。

答案 4 :(得分:0)

使用Talend等ETL工具定期从OLTP数据库同步数据到Vetica。这可以处理多个异构数据源和复杂的转换。

如果您使用的是VoltDB(Vertica for OLTP的姐妹),请在VoltDB中添加仅导出表并将数据同步到Vertica。

答案 5 :(得分:0)

如果您有兴趣使用Talend(ETL工具)设置HP Vertica数据插入或更新,那么我有一篇您可能感兴趣的博客文章:HP Vertica use in Talend