如何处理具有多个内存的3x3内核？

Question

现在我陷入了如何在Verilog的信号处理中处理具有行存储器的结构。

如果我尝试使用3x3内核实现中值滤波器，那么我可以认为我需要处理它的一些行内存，如下所示。

问题是，如果我在3行之后得到数据，我怎么能处理4行，5,6，......行尾？

每个行存储器都是单端口SRAM。和3X3内核算法。

new_B2 = 2*A1 + 4*A2 + 6*A3 + 3*B1 + B2 + 2*B3 + C1 + 5*C2 + 3*C3;

如何处理具有多个内存的3x3内核？