Question

我将来自多个传感器的时间序列数据存储在MySQL数据库中。每个传感器都与一个设备关联，每个设备可以具有多个传感器。

传感器每10秒轮询一次，因此在很长一段时间（日/周/月/年）中，获取不必要的大型数据集会成为问题。

我想在评估之前对QuerySet进行重新采样，以使其仅获取第n行。这可能吗？

如果没有，我可以采用一种更明智的方法吗？我想我可以找出一个where子句，它匹配时间戳的微秒的1 / n的可能值？

device_name = request.GET['device']
   device = Datalogger.objects.get(device_name=device_name)

   sensors = Sensor.objects.filter(datalogger=device).order_by('pk').select_related('type')
   sensor_models = sensors.values_list('type', flat=True)  # get all models of sensor used by this controller
   sensor_datum_types = list(SensorModelDatumType.objects.filter(sensor__in=sensor_models).order_by('sensor',
                                                                                                    'datum_type'))  # get all datatypes relating to all models of sensor used

# assign each trace (sensor/datum_type combination) an indice for the tuples (zero is used for time/x-axis)
   bulk_queryset = SensorDatum.objects.filter(sensor__datalogger__device_name=device_name,
                                              timestamp__gte=get_filter_start_time(request),
                                              timestamp__lte=get_filter_end_time(request))
   chart_traces = []
   chart_trace_indices = {}
   chart_trace_data = [None]
   chart_trace_queryset = SensorDatum.objects.none()
   next_free_idx = 1
   for sensor in sensors:
       for datum_type in sensor_datum_types:
           if datum_type.sensor == sensor.type:
               chart_trace_name = get_chart_trace_name(sensor.sensor_name, datum_type.datum_type.description)
               chart_traces.append({'sensor': sensor.sensor_name, 'datum_type': datum_type.datum_type.description,
                                    'chart_trace_name': chart_trace_name})
               chart_trace_indices.update({chart_trace_name: next_free_idx})
               chart_trace_queryset = chart_trace_queryset | bulk_queryset.filter(sensor_id=sensor.id,
                                                                                  type_id=datum_type.datum_type.id)
               next_free_idx += 1

   # process data into timestamp-grouped tuples accessible by chart_trace_index ([0] is timestamp)
   raw_data = list(chart_trace_queryset.order_by('timestamp', 'sensor_id', 'type_id'))
   row_count = len(raw_data)

Answer 1

您也许可以使用.annotate()和一个模数来仅检索第N行。 I'm using this answer作为参考。

Foo.objects.annotate(idmod4=F('id') % 4).filter(idmod4=0)

这应该大约返回第4行，尽管如果您还使用其他一些过滤器，则可能无法获得确切的子样本，该过滤器可能会排除一堆适合模数的行，因此您很不幸您所过滤的扫描程序没有那么多的ID，它是4的倍数。尽管您提到要生成很多行，并且对于子样本来说，这可能就足够了。

如何筛选/减少到第n行的QuerySet？

1 个答案: