使用事件存储和ORM进行事件采购

时间:2019-02-05 12:49:48

标签: django orm apache-kafka cqrs event-sourcing

我正在使用Django为微服务架构构建身份验证服务。它不是真正的实现,而是更多的实验,以了解有关事件源的更多信息。

我确实了解到Django的ORM与该框架非常吻合,使用Flask将是一个更简单的方法,但我正在尝试找出解决方法。

用例非常简单。用户注册后,他将收到一封电子邮件以激活他的帐户。用户再次被激活后,我会通过电子邮件发送通知,告知其帐户处于活动状态。

据我了解是在事件源系统中。事件被触发并存储,例如,我们可以获得最新状态并将其存储在数据库中。在我的情况下,它将是使用Django ORM的Postgres。

我使用Django中的信号将事件发布到kafka。 pre_save()信号。然后模型将保存对象。

如果尚未执行以下更新。我只发布更新的字段。并在Django中更新对象。

有人用这种方法看到任何警告吗?还是最好在模型的save方法中实现呢?

我很想听听您对此的反馈。

# app/services.py

class KafkaService:

    def __init__(self):
        try:
            self.producer = KafkaProducer(bootstrap_servers=settings.KAFKA_BROKERS,
                                          value_serializer=lambda m: json.dumps(m).encode('ascii'))
        except KafkaError as ke:
            logger.exception(f"Something went wrong creating a kafka producer: {ke}")
            self.producer = None
        except Exception as ex:
            logger.exception(f"Something went wrong creating a kafka producer: {ex}")
            self.producer = None

    def publish(self, topic, key, data):
        if not self.producer:
            logger.error(f"Kafka Producer could not establish a connection")
            pass
        try:
            self.producer.send(topic, key=bytes(key, encoding='utf-8'), value=data)
            self.producer.flush()
            logger.info("Message has been published to Kafka")
        except Exception as ex:
            logger.info(f"Errored while publishing to Kafka: {ex}")
# app/events.py

class UserEvent:

    def __init__(self, event_store):  # event store here is Kafka
        """ A user event class which is an injectable. I am using here.
        I need a key for kafka to place the correct event in the correct partition.

        :parameters:
            - event_store: a class form example :class:`KafkaService` which publishes data
        """
        self.event_store = event_store

    def user_created(self, email, data):
        """ Publish an event to the event store when a user is created

        :param email: string
        :param data: string - json
        """
        self.event_store.publish('user-created', email, data)

    def user_activated(self, email, data):
        """ Publish an event to the event store when a user is activated """
        self.event_store.publish('user-activated', email, data)
# app/signals.py

kafka_service = KafkaService()

user_event = UserEvent(kafka_service)

def user_added_event(sender, instance, created, **kwargs):
    if created:
        from users.api.v1.serializers import UserSerializer  # Avoid (Apps Not Read)

        value = UserSerializer(instance).data
        user_event.user_created(instance.email, value)

    else:
        logger.info("User Updated")

1 个答案:

答案 0 :(得分:1)

  

有人用这种方法看到任何警告吗?还是最好在模型的save方法中实现呢?

通常的设计将域模型(也称为业务逻辑)与持久性关注点分开。

如果事件的顺序是事实的来源,则有两件事:首先,您要确保在事件被发布之前成功地存储。其次,您要确保您的写语义是“第一作者获胜”。

如果您做对了,并且每个人都知道数据库中的模型可以及时“隐藏”在事件存储中的事件之后,那么您就处于良好状态。

最终一致的系统使“读自己的书”的期望具有挑战性。因此,您可能在那里还有一些额外的工作。