我在Postres数据库中存储了大数据，我需要使用Django通过REST API将数据发送到客户端。要求是分块发送数据，并且不要一次将整个内容加载到内存中。我知道Django中有一个StreamingHttpResponse类，我将对此进行探讨。但是还有其他更好的选择吗？我听说过Kafka和Spark用于流式应用程序，但是我检查过的这两个教程往往涉及流式传输实时数据，例如与Twitter数据进行交互等。但是是否可以使用这两种方法从数据库中流式传输数据？如果是，我如何将其与REST集成在一起，以便客户端可以与其交互？任何线索将不胜感激。谢谢。
答案 0 :(得分：7)
您可以使用debezium或apache-kafka-connect将数据库批量加载到Kafka中。
一旦数据存在，您就可以将Kafka使用者放置在Django应用程序之内或之外，并在消息消耗时发出REST请求。 Spark不是完全必要的，不应在Django
中使用