my-ai-portfolio

深度学习基础：神经网络的数学本质

日期：2023-10-01
标签：#深度学习 #神经网络

核心理解

神经网络本质是函数逼近器，通过多层非线性变换实现复杂映射：
f(x) = W₃·σ(W₂·σ(W₁·x + b₁) + b₂) + b₃

关键发现

1. 激活函数 σ(x) = ReLU(x) = max(0,x) 解决了梯度消失问题
2. 反向传播 本质是链式法则的高效实现
3. Batch Normalization 提升训练稳定性（减少对初始化的敏感度）

💡 实践建议：用PyTorch实现一个3层MLP，观察不同激活函数对loss曲线的影响