稀疏有序2D浮点数组的最佳数据结构,允许插值(perl)

时间:2018-05-30 23:12:56

标签: perl data-structures

数据是股票期权。我想根据天数到期(int)&amp ;;做一个2D数组。货币的标准化距离(浮动),其中的值是标准化的买入价和卖出价的清单。如果所需元素不在数组中,我希望能够在最近的元素之间进行插值。

我看到3种可能的数据结构:

  1. 稀疏的2D数组,可能是10000个元素,可能是1/3满。

  2. 2D链表,即:每个数据元素的4个列表指针(因此3000个元素变为15000)

  3. 2D哈希(可能是3000个元素),每个维度包含2个键的排序列表(每个可能包含100个元素)。

  4. 主要问题是在需要插值时有效检索。 使用任何方法检索现有元素都相对简单。

    我目前正在使用选项3,但检索有点像kloodge,因为我必须扫描每个维度的密钥列表,直到我找到被占用的元素,然后进行2或4路插值。 我使用moreUtils :: firstindx($ _> $ desiredKey)来查找键。链接列表(选项2)将使我无需搜索密钥列表数组。

    选择1还需要扫描,不需要键列表查找的初始步骤,但可能需要查看更多的空单元格。插入将是一个真正的麻烦。

    我会进行比插入更多的搜索。

    是否有人对最有效的数据结构有任何建议。

1 个答案:

答案 0 :(得分:3)

由于您主要通过生命周期执行查找并按距离查找并且插入很少,因此我使用排序数组通过二进制搜索来查找记录。

  • 找到现有元素:O(日志N)
  • 找到缺少元素的框:O(log N)
  • 插入:O(N)

鉴于,

my @data = (
   [ $lifespan0, $distance0, $bid0, $ask0 ],
   [ $lifespan1, $distance1, $bid1, $ask1 ],
   ...
);

my $lifespan_search_cmp = sub { $a <=> $data[$b][0] };
my $distance_search_cmp = sub { $a <=> $data[$b][1] };

首先,创建索引:

my @by_lifespan = sort { $data[$a][0] <=> $data[$b][0] } 0..$#data;
my @by_distance = sort { $data[$a][1] <=> $data[$b][1] } 0..$#data;

要查找:

my $i = binsearch_first \&$lifespan_search_cmp, $lifespan, @by_lifespan;
my $j = binsearch_first \&$distance_search_cmp, $distance, @by_distance;

my @lifespan_matching_idxs = get_run_forward \&$lifespan_search_cmp, $lifespan, $i, @by_lifespan;
my @distance_matching_idxs = get_run_forward \&$distance_search_cmp, $distance, $j, @by_distance;

my @cross_match_idxs = do {
   my %lifespan_matching_idxs = map { $_ => 1 } @lifespan_matching_idxs;
   grep { $lifespan_matching_idxs{$_} }
      @distance_matching_idxs
};

if (@cross_match_idxs) {
   # Exact match(es) found.
   ...
} else {
   my $lifespan_lowerbracket;
   my $lifespan_upperbracket;
   if ($i >= 0) {
      $lifespan_lowerbracket = $lifespan;
      $lifespan_upperbracket = $lifespan;
   } else {
      die "Can't interpolate" if ~$i == 0 || ~$i >= @by_lifespan;
      $lifespan_lowerbracket = $data[~$i    ][0];
      $lifespan_lowerbracket = $data[~$i - 1][0];
   }

   my $distance_lowerbracket;
   my $distance_upperbracket;
   if ($i >= 0) {
      $distance_lowerbracket = $distance;
      $distance_upperbracket = $distance;
   } else {
      die "Can't interpolate" if ~$j == 0 || ~$j >= @by_distance;
      $distance_lowerbracket = $data[~$j    ][1];
      $distance_upperbracket = $data[~$j - 1][1];
   }

   ...
}

要插入:

my $i = binsearch_first \&$lifespan_search_cmp, $lifespan, @by_lifespan;
my $j = binsearch_first \&$distance_search_cmp, $distance, @by_distance;

push @data, [ $lifespan, $distance , $bid, $ask ];

splice(@by_lifespan, $i >= 0 ? $i : ~$i, 0, $#data);
splice(@by_distance, $j >= 0 ? $j : ~$j, 0, $#data);

替补:

sub binsearch_first(&$\@) {
   my  $compare = $_[0];
   #my $value   = $_[1];
   my  $array   = $_[2];

   my $min = 0;
   my $max = $#$array;
   return -1 if $max == -1;

   my $ap = do { no strict 'refs'; \*{caller().'::a'} };  local *$ap;
   my $bp = do { no strict 'refs'; \*{caller().'::b'} };  local *$bp;

   *$ap = \($_[1]);
   while ($min <= $max) {
      my $mid = int(($min+$max)/2);
      *$bp = \($array->[$mid]);

      my $cmp = $compare->();
      if ($cmp < 0) {
         $max = $mid - 1;
      }
      elsif ($cmp > 0) {
         $min = $mid + 1;
      }
      else {
         return $mid if $mid == $min;
         $max = $mid;
      }
   }

   # Converts unsigned int to signed int.
   return unpack('j', pack('J', ~$min));
}

sub get_run_forward(&$\@) {
   my  $compare = $_[0];
   #my $value   = $_[1];
   my  $start   = $_[2];
   my  $array   = $_[3];

   return if $start < 0;

   my $ap = do { no strict 'refs'; \*{caller().'::a'} };  local *$ap;
   my $bp = do { no strict 'refs'; \*{caller().'::b'} };  local *$bp;

   *$ap = \($_[1]);

   my $i = $start;
   while ($i <= $#$array) {
      *$bp = \($array->[$i]);

      my $cmp = $compare->()
         and last;

      ++$i;
   }

   return wantarray ? ($start..$i-1) : $i-1;
}

您可能希望在浮点比较中使用容差(即在$distance_search_cmp中)。