maxRate Spark突破

Question

我想用Kafka从Java-Spark中读取消息，然后将消息写入Hadoop (Hive)。

我想将256MB的文件写入Hadoop，我使用Snappy或zlib压缩来编写文件。

仅当我有足够的消息可以写入256Mb的文件时，如何才能从Kafka中读取消息？

我知道我需要配置标志spark.streaming.receiver.maxRate 但是由于压缩，我不知道需要设置哪个大小，那么如何知道每次压缩需要设置的大小呢？

谢谢。