我的火花串流应用程序从Kafka获取数据并对其进行处理。
如果应用程序失败，大量数据存储在Kafka中，并且在下一次启动Spark Streaming应用程序时，它会崩溃，因为一次消耗的数据太多。 由于我的应用程序不关心过去的数据，因此仅使用当前（最新）数据完全没问题。
我找到了“auto.reset.offest”选项，它在Spark中的表现略有不同。 它会删除存储在zookeeper中的偏移量（如果已配置）。 尽管如此，它的意外行为，应该是在删除后从最新的数据中获取数据。
但我发现它不是。 在使用数据之前，我看到所有的偏移都被清理干净了。 然后，由于默认行为，它应该按预期获取数据。 但由于数据太多，它仍然会崩溃。
当我使用“Kafka-Console-Consumer”清理偏移量并使用最新数据时， 并运行我的应用程序，它按预期工作。
所以它看起来“auto.reset.offset”不起作用，火花流中的kafka消费者从默认的“最小”偏移量中获取数据。
您是否知道如何从最新的火花流中消耗Kafka数据？
我使用的是spark-1.0.0和Kafka-2.10-0.8.1。
提前致谢。
答案 0 :(得分：7)
我认为你拼错了属性名称。正确的密钥是 auto.offset.reset ，而不是 auto.reset.offest
此处有更多信息：http://kafka.apache.org/documentation.html#configuration
希望这有帮助。