我正在测试hadoop和hive，我想在日志分析中使用它们。
这里我有一个问题，我可以将日志写入/附加到位于hdfs的压缩文件中吗？
我们的系统每天都会生成大量日志文件，我可以每小时压缩这些日志，然后将它们放入hdfs。
但是如果我想将日志写入已经存在于hdfs中并被压缩的文件中呢？
这些文件是否未压缩，那么这项工作似乎很简单，但如何将日志写入或附加到压缩日志中？
我能这样做吗？
有人可以给我一些建议或给我一些例子吗？
非常感谢！
答案 0 :(得分：0)
HDFS就像任何文件系统一样（但是分布式）。如果压缩算法支持附加，那么应该可以在HDFS中附加。请注意，只有部分Hadoop版本支持HDFS追加。
答案 1 :(得分：0)
在zlib发行版中，有两个示例程序可以执行此操作。 gzappend和gzlog。您可以从http://zlib.net获取zlib分发。