如何使用Python创建这种神经网络？

Question

我想创建这种神经网络拓扑：

但是由于PyTorch和Tensorflow采用了逐层构造方法，所以我无法做到这一点。如何使用任何这些Python框架来构建此模型以便对其进行训练？有例子吗？

关于。

Answer 1

您还能说明什么是“改进的LM算法”吗？

此外，您可能必须为基本上每个成对的操作行定义一个自定义神经元（例如，包括v1，v1 ^，w1和w1 ^），然后使用内部所需的操作简单地创建一个单层。
您不需要任何自定义激活函数，因为您只需在torch.nn.functional中使用相应的函数指定每个数学运算即可。

基本上，这是对LSTM Cell之类的东西的更复杂的处理。您可以查看其implementation来获得启发。

然后，您的网络的基本布局将简化为以下内容：

class siscoNet:

    def __init__(self, num_hidden):
        self.num_hidden = num_hidden
        self.layer1 = CustomCell(num_hidden) # this is what you have to define first
        self.dense = torch.nn.Dense(num_hidden, 1)        

    def forward(x):
        result = self.layer1(x)
        result = self.dense(result)
        return result