如何使用Rabbit绑定创建带有Transaction和DLQ的处理器?

时间:2016-08-18 12:34:40

标签: java spring rabbitmq spring-cloud-stream spring-cloud-dataflow

我刚开始学习Spring Cloud Streams和Dataflow,我想知道一个重要的用例。我创建了示例处理器Multiplier,它接收消息并重新发送5次以输出。

@EnableBinding(Processor.class)
public class MultiplierProcessor {
    @Autowired
    private Source source;

    private int repeats = 5;

    @Transactional
    @StreamListener(Processor.INPUT)
    public void handle(String payload) {
        for (int i = 0; i < repeats; i++) {
            if(i == 4) {
                throw new RuntimeException("EXCEPTION");
            }
            source.output().send(new GenericMessage<>(payload));
        }
    }
}

你可以看到的是,在第五次发送此处理器崩溃之前。为什么?因为它可以(程序抛出异常)。在这种情况下,我想在Spring Cloud Stream上练习故障预防。

我想要实现的是在DLQ中备份输入消息和之前发送的4条消息,以便还原并且不被下一个操作数消耗(就像在正常的JMS事务中一样)。我已经尝试在我的处理器项目中定义以下属性但没有成功。

spring.cloud.stream.bindings.output.producer.autoBindDlq=true
spring.cloud.stream.bindings.output.producer.republishToDlq=true
spring.cloud.stream.bindings.output.producer.transacted=true

spring.cloud.stream.bindings.input.consumer.autoBindDlq=true

你能告诉我是否有可能以及我做错了什么?我会非常感谢一些例子。

1 个答案:

答案 0 :(得分:4)

您的配置存在以下几个问题:

  • 在特定于兔子的属性中缺少.rabbit
  • 您需要使用群组名称和持久订阅才能使用autoBindDlq
  • autoBindDlq不适用于输出端

必须对消费者进行交易,以便生产者发送在同一交易中执行。

我刚用1.0.2.RELEASE测试了这个:

spring.cloud.stream.bindings.output.destination=so8400out

spring.cloud.stream.rabbit.bindings.output.producer.transacted=true

spring.cloud.stream.bindings.input.destination=so8400in
spring.cloud.stream.bindings.input.group=so8400

spring.cloud.stream.rabbit.bindings.input.consumer.durableSubscription=true
spring.cloud.stream.rabbit.bindings.input.consumer.autoBindDlq=true
spring.cloud.stream.rabbit.bindings.input.consumer.transacted=true

它按预期工作。

修改

实际上,不,发布的消息没有回滚。调查...

<强> EDIT2

行;它确实有效,但你不能使用republishToDlq - 因为当启用它时,绑定器会将失败的消息发布到DLQ并且提交事务。

如果为false,则向容器抛出异常,回滚事务,RabbitMQ将失败的消息移动到DLQ。

但请注意,默认情况下会启用重试(3次尝试),因此,如果处理器在重试期间成功,则会在输出中显示重复项。

为了使其按您的方式工作,您需要通过将最大尝试次数设置为1来禁用重试(并且不要使用republishToDlq)。

<强> EDIT3

好的,如果您想要更好地控制错误的发布,那么当this JIRA的修复程序应用于Spring AMQP时,这将有效...

@SpringBootApplication
@EnableBinding({ Processor.class, So39018400Application.Errors.class })
public class So39018400Application {

    public static void main(String[] args) {
        SpringApplication.run(So39018400Application.class, args);
    }

    @Bean
    public Foo foo() {
        return new Foo();
    }

    public interface Errors {

        @Output("errors")
        MessageChannel errorChannel();

    }

    private static class Foo {

        @Autowired
        Source source;

        @Autowired
        Errors errors;

        @StreamListener(Processor.INPUT)
        public void handle (Message<byte[]> in) {
            try {
                source.output().send(new GenericMessage<>("foo"));
                source.output().send(new GenericMessage<>("foo"));
                throw new RuntimeException("foo");
            }
            catch (RuntimeException e) {
                errors.errorChannel().send(MessageBuilder.fromMessage(in)
                        .setHeader("foo", "bar") // add whatever you want, stack trace etc.
                        .build());
                throw e;
            }
        }

    }

}

有属性:

spring.cloud.stream.bindings.output.destination=so8400out

spring.cloud.stream.bindings.errors.destination=so8400errors
spring.cloud.stream.rabbit.bindings.errors.producer.transacted=false


spring.cloud.stream.rabbit.bindings.output.producer.transacted=true

spring.cloud.stream.bindings.input.destination=so8400in
spring.cloud.stream.bindings.input.group=so8400

spring.cloud.stream.rabbit.bindings.input.consumer.transacted=true
spring.cloud.stream.rabbit.bindings.input.consumer.requeue-rejected=false
spring.cloud.stream.bindings.input.consumer.max-attempts=1