在网格中向上和向下导航div（jQuery）

Question

取这个由div组成的9x9网格：

现在，让我们删除一些正方形：

$('.sq-15').fadeOut(400, function(){
   $(this).remove(); // etc
});

结果：

我如何从一个方格中选择TOP上的方块？或者为了它，BOTTOM广场？

当我有原始网格时，很容易：只需返回9个div来选择它上方的div。或者提前导航9个div来选择底部的一个：

$('.sq-15').prevAll().eq(9); 

当删除一些div时，棘手的部分会出现 - ＆gt;在选择上面的div之前，我怎么知道要走多少步？我是朝着错误的方向前进的吗？

标记可以是这样的：

<div data-color='#FFC20A' data-sq='0' class='sq sq-0' style='background:#FFC20A;'>
</div>
<div data-color='#FFC20A' data-sq='1' class='sq sq-1' style='background:#FFC20A;'>
</div>
<div data-color='#66CC33' data-sq='2' class='sq sq-2' style='background:#66CC33;'>
</div>