机器学习与深度学习 / 系统课时
神经元与感知机
神经元与感知机
神经元把多个输入压缩成一个输出,感知机则用阶跃规则完成最简单的二分类。本课将从加权求和出发,理解权重、偏置和激活函数各自承担什么职责,并用逻辑与运算验证计算过程。
学习目标
- 说明输入、权重、偏置和输出之间的关系
- 根据给定参数计算神经元的加权结果
- 理解单层感知机能够解决的问题与限制
神经元怎样产生输出
一个人工神经元接收输入 ,分别乘以权重 ,再加上偏置 :
随后,激活函数把 转换为最终输出。保持其余输入不变时,第 个输入每增加 1,加权分数就变化 。权重大小要结合特征量纲解释,分数变化也未必使阶跃输出变化。权重向量非零时,偏置改变判定超平面的位置。

感知机的判定规则
感知机常使用阶跃函数:当 时输出 1,否则输出 0。权重向量非零时, 是判定超平面,在二维中是一条直线。这里约定边界归到正类,输出 0 或 1 是类别判定。若所有权重为 0,则输出恒由偏置决定。
以逻辑与运算为例,令 、、。只有两个输入都为 1 时,加权结果才不小于 0。
| 输出 | |||
|---|---|---|---|
| 0 | 0 | -1.5 | 0 |
| 0 | 1 | -0.5 | 0 |
| 1 | 0 | -0.5 | 0 |
| 1 | 1 | 0.5 | 1 |
用代码核对逻辑运算
下例使用手工给定的参数,完整枚举两个二元输入。只改变偏置即可把与改成或。
python
def step2(weights, bias, x1, x2):
w1, w2 = weights
return int(w1 * x1 + w2 * x2 + bias >= 0)
inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]
print("AND:", [step2((1, 1), -1.5, a, b) for a, b in inputs])
print("OR:", [step2((1, 1), -0.5, a, b) for a, b in inputs])预期分别得到 [0, 0, 0, 1] 与 [0, 1, 1, 1]。
能力边界
单个感知机在给定特征空间中只能表示线性判定。对异或,两个正例 (0,1)、(1,0) 的线性分数相加得到 ,按规则应大于等于 0。两个负例 (0,0)、(1,1) 的分数相加也得到同一个式子,按规则应严格小于 0,两条要求矛盾。下一课把神经元与非线性激活组合成隐藏层。
按自己的节奏,确认真正理解。