Question

我一直在就这个话题提出一些问题，但我仍未得出结论，而且我仍然不确定在这里应该采用哪种方法，因此我决定就所有细节提出一个新问题，为了尽可能具体。

问题：我有一个外部Python脚本（我们称为数据收集器），该脚本可实时从各种加密货币市场中检索交易并将其打印到我的控制台上;此脚本已在其服务器上运行并正在运行，并且可以进行打印交易，它可以完美运行。另一方面，我有一个Django应用程序。当用户在我的Django应用程序上打开页面时，他们应该收到特定市场的交易。示例：用户打开市场ETHUSD>用户需要从数据收集器实时接收ETHUSD的交易。因此，我需要找到一种方法来使数据收集器在页面打开时将交易发送到我的Django应用程序。我不需要将这些数据存储在数据库中，只需要让用户看到它即可，

可能的方法

1）存储在数据库上并进行轮询，我想到了将数据更新到db，然后从Django，仅查询数据库。这是不可行的，因为正如我所说，数据收集器每秒从各个市场检索交易，因此这将导致来自服务器和客户端的大量查询，而且我也不想存储数据，因此我不能走这条路。

2）Pusher Pusher也许是最好的解决方案，但最终对我来说太昂贵了。

3）Redis PUB / SUB ：这是最有前途的：针对每个市场，数据收集者都会创建一个Redis渠道。在我的Django应用程序上，当用户打开页面时，将创建到正确通道的连接并检索数据。示例：用户打开ETHUSD页面->建立与Redis通道'ETHUSD'的连接，因此可以接收交易。问题：从Django Channels Consumer创建到Redis通道的连接将导致阻塞操作，因此无法执行。

4）一个抽象的想法这是我的一个想法，但是我不知道IF，从代码的角度讲，它是如何可行的。在数据收集器上，我将使用Websocket库为每个市场创建一个“渠道”或“房间”。然后，从我的Django应用程序的前端，我将使用Javascript建立与该“通道”的连接。如我所说，我不知道这是否可行以及如何实现。

要使其尽可能具体，我需要的是解决此问题的方法。我需要一种解决此问题的方法，该方法将在生产环境中有效（如果有的话）。如果需要，我愿意提供更多详细信息。由于这个问题困扰着我，因此非常感谢任何建议！

我的代码：

data-collector.py

from binance.client import Client
import json
from binance.websockets import BinanceSocketManager

client = Client('', '')


# A list of the tickers, they are some hundreds
tickers = ['ETHBTC', 'BNBBTC', 'BATBTC', 'BTCUSDT' ....]

# This function is used to do something with the response,
# such as printing it 
def process_message(message):
    JSON1 = json.dumps(message)
    JSON2 = json.loads(JSON1)

    #define variables
    Rate = JSON2['p']
    Quantity = JSON2['q']
    Symbol = JSON2['s']
    Order = JSON2['m']

    print(Rate, Quantity, Order, Symbol)

bm = BinanceSocketManager(client)

# For every market, start the connection and stream the trades
for market in tickers:
    bm.start_trade_socket(market, process_message)

bm.start()

我的基本Django渠道使用者

class EchoConsumer(SyncConsumer):

    def websocket_connect(self, event):
        self.send({
            'type': 'websocket.accept'
        })

        print('Connected')



    def websocket_receive(self, event):
        print('Received')

        self.send({
            'type': 'websocket.text',
            'text': event,
        })


    def websocket_disconnect(self, event):
        print('Disconnected')

我的前端网络套接字代码

<script>
  // websocket scripts
  var loc = window.location
  var wsStart = 'ws://' + window.location.host + window.location.pathname
  console.log(wsStart)
  var endpoint = wsStart + loc.host + loc.pathname
  var socket = new WebSocket(endpoint)

  if (loc.protocol == 'https:'){
    wsStart = 'wss://'
  }

  socket.onmessage = function(e){
    console.log("message", e)
  }

  socket.onopen = function(e){
    console.log("message", e)
  }

  socket.onerror = function(e){
    console.log("message", e)
  }

  socket.onclose = function(e){
    console.log("message", e)
  }
</script>

Answer 1

很高兴看到我们在设计这个架构问题时有类似的想法。但我迟到了。我想分享我的方法。

我刚刚开始构建我的个人项目。一种实时仪表板。

我们知道第一个和第二个选项不值得实施。我也考虑过第四个选项。既然客户端接收到类似的数据，为什么我们要对它们进行分组以加快加载速度。无论如何，这是实现实时数据传输后的下一步。

实际上选项 3（Redis 发布/订阅）对我有用。在我写的时候，我当前的项目得到了 5 秒的窗口来发送数据。我将每秒更新一次数据。

（与你的项目不同，我的前端是 Flutter。这应该不是问题。）

将实时数据发送到Django前端

1 个答案: