将数百万个数据点发送到烧瓶API

Question

这个问题可能有点过于主观，但我正在寻找一种将数百万数据点发送到烧瓶API的最佳方法。

我目前的做法基本如下：

• 发送一个JSON对象的数据点列表，以及发送一些与所有数据点相关的信息，例如收集的人和收集日期
• 这会更新两个表，一个记录人员，日期等的Use表，然后是一个将数据点与给定用途相关联的Data表。这一切都作为对Use端点
的一个POST请求发生

我担心这种方法在发送数百万个数据点时可能会超时。

我正在寻找一种方法来解决这个问题，我一直在考虑的方法是

• 发送初始POST请求以创建Use，然后将补丁中的数据点作为PATCH发送到同一端点或POST发送到新的data端点
• 在POST请求中发送csv，然后通过服务器上的csv进行解析

Haven已经能够在网上找到任何类似的问题，所以在做这样的事情时，看看是否有行业标准或最佳实践

Answer 1

无论您是通过json还是csv接收，它都将保留大量数据。您可能希望缩短json密钥或更改json数据类型以减少占用空间。

这取决于您是否使用api连接到您自己的网站，因为如果是这样，您可能只是切断数据（使用js），并发送几个ajax请求，以防止在较慢的连接上超时。如果您希望其他人使用您的API，那么您可能希望查看this question上的最后一个答案