如何减少Alpakka的Kafka日志文件大小

时间:2018-10-21 18:44:20

标签: java apache-kafka akka akka-stream alpakka

我正在使用Consumer.commitableSource在alpakka中进行数据复制。但是,kafka日志文件的大小增长非常快。大小一天达到5 GB。作为此问题的解决方案,我想立即删除已处理的数据。我在AdminClient中使用删除记录方法来删除偏移量。但是当我查看日志文件时,对应于该偏移量的数据不会被删除。

1 个答案:

答案 0 :(得分:1)

使用<?php $conn = new mysqli("localhost", "root", "", "parishdb"); if(isset($_POST["btnSavess"])){ $conn->query("INSERT IGNORE INTO tbl_funeral(FirstName, LastName, DateOfBirth, DateOfDeath, Address, ReservationDate, SelectTime) VALUES('$_POST[firstName]', '$_POST[lastName]', '$_POST[dob]', '$_POST[dod]', '$_POST[address]', '$_POST[reservationDate]','$_POST[selectTime]')"); $result = mysqli_query($conn, $query); if ( mysqli_num_rows ($result) >= 1 ){ echo "New record created successfully"; } else { echo "data already exists"; } mysqli_close($conn); } ?> 时,您需要确认记录已被成功读取并且可以通过提交偏移量来进行清理。您可以通过调用commitableSource来实现。查看example in the documentation了解更多信息。