标签： hadoop bigdata flume cdr
我刚刚开始研究近实时分析CDR的hadoop用例。 CDR在ASN1.1中编码。 CDR定期提供远程服务器。我想知道如何将CDR从这个服务器摄取到我的集群中，并解码它们以生成可由Hive（或Spark Streaming ..）处理的CSV文件。
Flume是否适合摄取此类数据？你认为我什么时候应该在摄取之前或之后解码ASN1.1？我有一个用C编写的程序用于解码ASN1.1。 如果Flume适合摄取数据，我应该在包含初始数据的服务器中实现Avro客户端，还是有另一种非常适合的方法？