Question

我正在研究Rails应用程序中的一些数据处理，我正在尝试处理性能问题。我有2个数组x_data和y_data，每个数组看起来如下（当然使用不同的值）：

[
  { 'timestamp_value' => '2017-01-01 12:00', 'value' => '432' },
  { 'timestamp_value' => '2017-01-01 12:01', 'value' => '421' },
  ...
]

每个阵列最多可包含25,000件物品。我需要准备这些数据以进行进一步的x-y回归分析。

现在，x_data或y_data中的某些值可以是nil。如果 <{em> x_data或y_data在该时间戳上的值为nil，我需要从两个数组中删除值。然后我需要仅为两个数组返回值。

在我目前的方法中，我首先从两个数组中提取时间戳，其中值不是nil，然后在时间戳上执行设置交集以生成最终时间戳数组。然后，我使用最后的时间戳数组选择值。这是代码：

def values_for_regression(x_data, y_data) x_timestamps = timestamps_for(x_data) y_timestamps = timestamps_for(y_data) # Get final timestamps as the intersection of the two timestamps = x_timestamps.intersection(y_timestamps) x_values = values_for(x_data, timestamps) y_values = values_for(y_data, timestamps) [x_values, y_values] end def timestamps_for(data) Set.new data.reject { |row| row['value'].nil? }. map { |row| row['timestamp_value'] } end def values_for(data, timestamps) data.select { |row| timestamps.include?(row['timestamp_value']) }. map { |row| row['value'] } end

这种方法效果不是很好，我需要快速连续地对几组数据执行此操作。多个循环的开销加起来。必须有办法至少减少必要的循环次数。

任何想法或建议都将受到赞赏。

Answer 1

您正在进行大量冗余迭代并创建大量中间数据数组。

您的timestamps_for和values_for都会执行select后跟map。 select创建一个中间数组;因为你的数组最多有25,000个项目，所以这可能是一个相同大小的中间丢弃数组。您正在执行此操作四次，一次用于x和y时间戳，一次用于x和y值。您通过获取两组时间戳的交集来生成另一个中间数组。您还可以对nil的两个数组进行两次完整扫描，一次查找具有非零值的时间戳，并再次将刚提取的时间戳映射到其值。

虽然在功能上转换输入数组肯定更具可读性，但您可以通过组合各种迭代和转换来显着减少内存使用和执行时间。

所有迭代可以组合成一个数据集上的单个循环（以及用于为第二组生成时间戳 - >值查找散列的设置时间）。第一组中不存在的任何时间戳都会使第二组中的时间戳无论如何被忽略，因此没有理由在两个集中找到所有时间戳，然后才能找到它们的交集。

def values_for_regression(x_data, y_data)
  x_values = []
  y_values = []

  y_map = y_data.each_with_object({}) { |data, hash| hash[data['timestamp-value']] = data['value'] }

  x_data.each do |data|
    next unless x_value = data['value']
    next unless y_value = y_map[data['timestamp-value']]
    x_values << x_value
    y_values << y_value
  end

  [x_values, y_values]
end

我认为这在功能上是相同的，而quick benchmark显示运行时减少了约70％：

                 user     system      total        real
yours        9.640000   0.150000   9.790000 (  9.858914)
mine         2.780000   0.060000   2.840000 (  2.845621)

基于另一个数组

1 个答案: