我想用hdinsight中的map reducer生成的数据以我可以轻松报告的格式保存。理想情况下表结构(Azure表存储)。完成一些研究后,看起来HDInsight服务只能与Azure Storage Vault(ASV)(读写)一起使用。这是对的吗?
我更愿意在C#中实现hdinsight mapper / reducer。
我对蜂巢或猪不太了解,并想知道是否有一种功能可以在ASV以外的外部(天蓝色表)数据存储中保留减速器的结果?
答案 0 :(得分:1)
目前支持HDInsight的默认存储是ASV。您还可以将数据存储在HDInsight群集上的“本地”HDFS文件系统中。但是,这意味着保持群集永久运行,并将您限制在计算节点上的存储。这可能会非常昂贵。
一个解决方案可能是将结果sqoop分为SQL服务器(或SQL Azure),具体取决于大小以及您打算如何处理它们。
或者,我目前正在研究connector between Hive and Azure Tables,它目前允许您从Azure表读取到Hive(通过外部表),但很快也会获得写入支持。