如何创建Scalding
Source
来处理avro
和parquet
之间的转化。
解决方案应该:
1. Read from parquet format and convert to avro memory representation
2. Write avro objects into a parquet file
注意:我注意到Cascading有一个模块用于利用节俭和镶木地板。在我看来,这将是一个开始寻找的好地方。我还在google-groups/scalding-dev
上打开了一个帖子答案 0 :(得分:4)