数据提取:实时接收和解码消息文件(.txt)

时间:2019-03-03 12:29:17

标签: python message-queue data-integration data-ingestion

我们的项目中需要实时读取和解码消息文本文件。这些文件由第三方使用MQ安装程序接收。要求是从MQ服务器提取文件,将其存储在我们的系统中,使用规范进行解码,然后将数据存储在数据库表中。

这是建议的流程:

消息文件(.txt)-> MQ服务器-> ?? ->解码->存储在数据库中

问题:

  1. 第3方已经有了MQ设置,他们已经准备好将其推送给我们。我可以知道如何订阅他们的MQ系统来接收文件吗?是否可以使用SFTP接收文件,或者我应该在身边进行MQ设置?
  2. 我们已经有了Python的源代码来解码文件,但不确定如何将文件推送到我们的端到端实时处理。

1 个答案:

答案 0 :(得分:1)

  1. 您应该使用SFTP吗?不,将您的一方配置为订阅第三方的MQ通道。这对于最小化端到端延迟是必要的。
  2. 有点模糊。向我们展示您到目前为止编写的代码,这些代码可以在频道上侦听并分发给解码器。 https://stackoverflow.com/help/mcve