# 神经网络算法：从零开始的深度学习之旅
# 什么是神经网络？
神经网络是一种模仿人类大脑结构和工作方式的机器学习算法。就像我们的大脑由数十亿个相互连接的神经元组成一样，人工神经网络也由多个相互连接的人工神经元（节点）构成。
# 神经网络的基本组成
# 1. 神经元（感知器）
就像生物神经元接收其他神经元的信号并决定是否传递信号一样，人工神经元也接收输入，处理这些输入，然后产生输出。
数学表达式：
y = f(Σ(w₁x₁ + w₂x₂ + b))
其中：
- x₁, x₂ 是输入值
- w₁, w₂ 是权重
- b 是偏置项
- f 是激活函数
# 2. 激活函数
激活函数为神经网络引入非线性特性，使其能够学习复杂的模式。常用的激活函数包括：
# ReLU（修正线性单元）
最常用的激活函数，计算简单且效果好。
# 神经网络的工作原理
# 1. 前向传播
信息从输入层流向输出层的过程称为前向传播。每个神经元接收上一层的输入，计算加权和，通过激活函数后将结果传递给下一层。
# 2. 反向传播
反向传播是神经网络学习的核心机制。它通过计算预测值与实际值之间的误差，并沿着网络反向传播这个误差，来调整网络中的权重，使得预测更准确。
# 实际应用示例：手写数字识别
让我们通过一个经典的手写数字识别例子来理解神经网络的工作原理：
- 输入层：接收28×28像素的手写数字图像（784个输入节点）
- 隐藏层：提取特征，如笔画、曲线等
- 输出层：10个节点，对应数字0-9的概率
# 数学原理
# 1. 损失函数
损失函数用于衡量神经网络预测值与实际值之间的差距。常用的损失函数包括：
# 均方误差（MSE）
对于回归问题：
MSE = 1/n * Σ(y - ŷ)²
其中：
- n 是样本数量
- y 是实际值
- ŷ 是预测值
# 交叉熵损失
对于分类问题：
CE = -Σ(y * log(ŷ))
# 2. 梯度下降优化
梯度下降是神经网络学习的核心算法，通过不断调整参数来最小化损失函数。
数学表达式：
w = w - η * ∂L/∂w
b = b - η * ∂L/∂b
其中：
- w 是权重
- b 是偏置
- η 是学习率
- L 是损失函数
- ∂ 表示偏导数
# 3. 反向传播算法
反向传播使用链式法则计算损失函数对各层参数的梯度：
∂L/∂w = ∂L/∂y * ∂y/∂z * ∂z/∂w
其中：
- z 是神经元的加权输入
- y 是激活函数输出
# 算法原理
# 1. 批量梯度下降（BGD）
使用整个训练集计算梯度，更新稳定但计算量大：
∇L = 1/n * Σ∇L_i
# 2. 随机梯度下降（SGD）
每次使用单个样本更新参数，收敛快但不稳定：
∇L ≈ ∇L_i
# 3. 小批量梯度下降
结合BGD和SGD的优点，使用小批量数据更新参数：
∇L = 1/m * Σ∇L_i (m < n)
# 实践技巧
# 1. 权重初始化
- Xavier初始化：适用于tanh激活函数
- He初始化：适用于ReLU激活函数
- 避免对称性：使用随机小数而不是全零初始化
# 2. 学习率选择
- 固定学习率：简单但可能不是最优
- 学习率衰减：随训练进行逐步减小
- 自适应学习率：Adam、RMSprop等优化器
# 3. 防止过拟合
- Dropout：随机丢弃部分神经元
- L1/L2正则化：添加权重惩罚项
- 早停：验证集性能不再提升时停止训练
# 训练过程
- 初始化：使用合适的方法初始化网络参数
- 前向传播：计算每层的激活值
- 计算损失：使用损失函数评估预测效果
- 反向传播：计算梯度并更新参数
- 重复迭代：重复步骤2-4直至收敛