Question

我正在努力实现单层感知器：http://en.wikipedia.org/wiki/Perceptron。我的程序，取决于权重，要么在学习循环中丢失，要么找到错误的权重。作为测试用例，我使用逻辑AND。你能否告诉我为什么我的感知器不会收敛？这是我自己的学习。感谢。

# learning rate
rate = 0.1

# Test data
# logical AND
# vector = (bias, coordinate1, coordinate2, targetedresult)

testdata = [[1, 0, 0, 0], [1, 0, 1, 0], [1, 1, 0, 0], [1, 1, 1, 1]]

# initial weigths
import random
w = [random.random(), random.random(), random.random()]
print 'initial weigths = ', w

def test(w, vector):
    if diff(w, vector) <= 0.1:
        return True
    else:
        return False

def diff(w, vector):
    from copy import deepcopy
    we = deepcopy(w)
    return dirac(sum(we[i]*vector[i] for i in range(3))) - vector[3]

def improve(w, vector):
    for i in range(3):
        w[i] += rate*diff(w, vector)*vector[i]
    return w

def dirac(z):
    if z > 0:
        return 1
    else:
        return 0

error = True

while error == True:
    discrepancy = 0
    for x in testdata:
        if not test(w, x):
            w = improve(w, x)
            discrepancy += 1
    if discrepancy == 0:
        print 'improved weigths = ', w
        error = False

Answer 1

看起来你需要一个围绕for循环的额外循环来迭代改进，直到你的解决方案收敛（你链接的维基百科页面中的第3步）。

现在看来，你给每个训练案例提供了一次更新权重的机会，因此没有机会收敛。

Answer 2

我能看到的唯一故障是激活功能。增加截止值(z > 0.5)。
此外，由于每个时期只有4个输入案例，因此很难将0和1作为唯一输出。尝试删除dirac函数并将阈值增加到0.2。学习可能需要更长时间，但会更精确。当然，在NAND的情况下你真的不需要。但它有助于理解。

感知器单层

2 个答案: