从HDFS转换源数据并通过Talend转换

Question

我们正在尝试从HDFS，Hive，Hbase＆amp; Apache Ignite使用Web服务并使用Talend进行相关转换，然后将数据加载到下游系统中。

如果我们可以使用可与hadoop集群集成的特定软件来帮助我们实现此目的，那么我正在寻求帮助

Answer 1

要访问HDFS或Hive上的数据，您需要使用WebHcatalog：

  

WebHCat是HCatalog的REST API，一种表和存储管理   Hadoop层

Hcatlog是：

  

HCatalog的表抽象为用户提供了关系视图   Hadoop分布式文件系统（HDFS）中的数据并确保这一点   用户无需担心数据的位置或格式   存储

Hbase上的数据可通过Hbase Rest api访问，请参阅here，或者您可以通过Hive中的HbaseIntegration功能在Hbase上创建Hive表，然后通过WebHcatalog访问它们。