机器学习与深度学习 / 系统课时

神经元与感知机

神经元与感知机

神经元把多个输入压缩成一个输出,感知机则用阶跃规则完成最简单的二分类。本课将从加权求和出发,理解权重、偏置和激活函数各自承担什么职责,并用逻辑与运算验证计算过程。

学习目标

  • 说明输入、权重、偏置和输出之间的关系
  • 根据给定参数计算神经元的加权结果
  • 理解单层感知机能够解决的问题与限制

神经元怎样产生输出

一个人工神经元接收输入 x1,x2,…,xnx_1,x_2,\dots,x_n,分别乘以权重 w1,w2,…,wnw_1,w_2,\dots,w_n,再加上偏置 bb:

z=∑i=1nwixi+bz=\sum_{i=1}^{n}w_i x_i+b

随后,激活函数把 zz 转换为最终输出。保持其余输入不变时,第 ii 个输入每增加 1,加权分数就变化 wiw_i。权重大小要结合特征量纲解释,分数变化也未必使阶跃输出变化。权重向量非零时,偏置改变判定超平面的位置。

人工神经元的计算流程

感知机的判定规则

感知机常使用阶跃函数:当 z≥0z\ge 0 时输出 1,否则输出 0。权重向量非零时,z=0z=0 是判定超平面,在二维中是一条直线。这里约定边界归到正类,输出 0 或 1 是类别判定。若所有权重为 0,则输出恒由偏置决定。

以逻辑与运算为例,令 w1=1w_1=1、w2=1w_2=1、b=−1.5b=-1.5。只有两个输入都为 1 时,加权结果才不小于 0。

x1x_1 x2x_2 z=x1+x2−1.5z=x_1+x_2-1.5 输出
0 0 -1.5 0
0 1 -0.5 0
1 0 -0.5 0
1 1 0.5 1

用代码核对逻辑运算

下例使用手工给定的参数,完整枚举两个二元输入。只改变偏置即可把与改成或。

python
def step2(weights, bias, x1, x2):
    w1, w2 = weights
    return int(w1 * x1 + w2 * x2 + bias >= 0)

inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]
print("AND:", [step2((1, 1), -1.5, a, b) for a, b in inputs])
print("OR:", [step2((1, 1), -0.5, a, b) for a, b in inputs])

预期分别得到 [0, 0, 0, 1] 与 [0, 1, 1, 1]。

能力边界

单个感知机在给定特征空间中只能表示线性判定。对异或,两个正例 (0,1)、(1,0) 的线性分数相加得到 w1+w2+2bw_1+w_2+2b,按规则应大于等于 0。两个负例 (0,0)、(1,1) 的分数相加也得到同一个式子,按规则应严格小于 0,两条要求矛盾。下一课把神经元与非线性激活组合成隐藏层。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

神经元与感知机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通