[深度学习]量化研究_ML_Lesson3

一、前言本文基于李沐《动手学深度学习 v2》课程内容整理涵盖回归、分类模型选型、损失函数、数据集划分、过拟合与欠拟合、超参数调优、正则化、权重初始化、梯度稳定性等核心知识点结合 Kaggle 实战场景与工程落地经验梳理深度学习从理论到实操的完整流程适合深度学习入门者系统梳理知识框架。二、基础模型区分回归、二分类、多分类2.1 任务本质区别机器学习主流分为回归预测与分类两大任务核心差异在输出形式与损失设计回归任务输出连续数值取值范围为全体实数损失由预测值与真实值的偏差计算。分类任务输出类别置信度 / 类别标识细分二分类、多分类图像识别、文本分类均属于典型分类场景。2.2 主流模型对比模型输出形式适用场景配套损失 / 激活线性回归LinearRegress单个连续数值数值预测、趋势预估RMSE均方误差Softmax 回归各类别预测概率多分类、图像分类如 Kaggle 蛋白质图像 28 分类交叉熵损失单层感知机-1 / 1 二值输出简单二分类无复杂激活无法解决异或 (XOR) 问题现已淘汰多层感知机MLP-1 / 1 二值输出复杂二分类、非线性任务ReLU/Sigmoid 激活拓展实战案例Kaggle 人类蛋白质显微镜图像分类赛任务为将细胞图像划分为 28 个细胞器类别属于典型多分类任务行业内优先使用 Softmax 搭配卷积网络实现。2.3 激活函数选型激活函数为网络引入非线性是拟合复杂任务的核心Sigmoid将数值映射至 (0,1) 区间多用于早期二分类场景易出现梯度消失。ReLU当前主流激活函数计算简单、梯度传导稳定深度学习网络优先选用。三、损失函数基础RMSE均方误差线性回归标配损失函数通过预测值与真实值的偏差衡量模型误差驱动参数自动迭代优化。似然函数分类任务的理论基础Softmax 回归结合极大似然思想输出类别概率并计算分类损失。四、误差体系训练误差 泛化误差4.1 核心概念训练误差模型在训练集上计算得到的误差反映模型对训练数据的拟合程度。泛化误差模型在全新未知数据上的误差工程落地唯一关注指标代表模型真实能力。核心原则学习模型的本质是理解误差成因、缩小泛化误差而非单纯记忆训练数据。4.2 数据集划分规范数据集是模型训练的基础严格区分训练集、验证集、测试集是避免结果失真的关键训练集用于模型参数迭代、学习数据特征。验证集评估模型效果、调试超参数不可与训练集混用。测试集仅使用一次的最终评测数据集如 Kaggle 私有榜、线上真实业务数据严禁反复调参使用。通用划分比例小样本数据训练集 70% 测试集 30%大样本数据万级以上训练集 50% 测试集 50%时序数据存在数据自相关特性禁止随机划分截取中间段作为验证 / 测试集前后分段作为训练集。4.3 K 折交叉验证适用场景训练数据量不足深度学习常态无法单独拆分足量验证集时使用。执行流程将整体训练集均匀划分为K 个子集行业常用 K5、K10循环 K 次每次选取 1 个子集作为验证集剩余 K-1 个子集作为训练集取 K 轮验证误差的平均值作为最终模型评估结果。补充说明K 值越大验证结果越可靠但算力消耗越高深度学习算力成本高大型模型一般规避高 K 值交叉验证。示例三折交叉验证将数据分为 3 份轮流取单份为验证集其余为训练集第 1 轮第 2 份为验证集1、3 份为训练集第 2 轮第 1 份为验证集2、3 份为训练集第 3 轮第 3 份为验证集1、2 份为训练集五、欠拟合 过拟合模型容量与数据复杂度5.1 核心关系模型容量模型拟合复杂数据的能力网络层数、参数量越大容量越高。数据复杂度由样本数量、单样本特征维度、数据结构、样本多样性共同决定。5.2 两种典型问题欠拟合模型容量过低无法捕捉数据规律。表现训练误差、泛化误差均偏高。 解决方案提升模型复杂度、增加网络层数、扩充特征。过拟合模型容量过高过度记忆训练数据噪声无法泛化到新数据。表现训练误差极低、泛化误差极高。 解决方案正则化、丢弃法、扩充数据集、数据预处理降噪。工程实操工业场景中难以做到完全拟合小幅过拟合属于可接受范围。六、超参数调优实战6.1 基础概念模型内部参数网络权重、偏置由模型在训练集自动迭代更新。超参数人为预先设定、依靠验证集调试的参数学习率、网络层数、正则系数、树模型参数等。6.2 主流调参方式经验调参依托行业经验设定参数区间是入门最常用方式。网格遍历在指定区间内按步长遍历所有参数组合择优选用。随机搜索随机抽取多组超参数组合对比验证误差选择最优组合也可对多组优质模型结果做集成平均。6.3 常用超参数参考区间以树模型、神经网络通用参数为例超参数参考区间作用说明learning_rate学习率0.01 ~ 0.3数值越小训练越稳健收敛越慢n_estimators决策树数量50 ~ 500数量越多模型效果越好推理速度越慢max_depth树深度3 ~ 10限制模型复杂度防止过拟合subsample数据采样率0.5 ~ 1.0随机采样训练数据弱化过拟合L1 正则 (reg_alpha)0 ~ 10稀疏化特征过滤无效特征L2 正则 (reg_lambda)0 ~ 10常用 1~5限制参数大小平滑模型6.4 K 折交叉验证的落地用法利用 K 折验证确定最优超参数再使用全量训练集重新训练最终模型筛选 K 轮中精度最优的单组模型固定超参数直接上线集成学习保留 K 轮训练得到的 K 个模型预测时对结果取平均提升鲁棒性。七、正则化与模型复杂度控制针对过拟合问题主流通过正则化、丢弃法约束模型容量。7.1 权重衰退L2 正则原理在损失函数中增加 L2 正则项限制网络参数的绝对值大小避免参数极端化。核心正则项权重是控制模型复杂度的超参数。7.2 丢弃法Dropout原理训练过程中随机将隐藏层部分输出置 0弱化神经元之间的依赖关系抑制过拟合。核心丢弃概率为关键超参数仅作用于多层感知机、神经网络的隐藏层。八、训练稳定性梯度问题与权重初始化深度网络极易出现梯度爆炸、梯度消失导致训练报错输出 NaN/Inf核心解决方案为合理权重初始化、梯度优化。8.1 梯度爆炸问题现象梯度数值超出浮点值域出现无穷大 (Inf)、非数值 (NaN)16 位浮点数对该问题尤为敏感。诱因学习率过大 → 参数更新幅度过大 → 梯度进一步放大学习率过小则模型无法收敛。临时解决降低学习率、调整激活函数、选用 32 位浮点数float32训练。8.2 权重初始化随机初始化简单网络可使用(0, 0.01)正态分布初始化不适用于深度网络。Xavier 初始化业界通用的深度网络初始化方案保证每一层输入、输出数值分布稳定从源头降低梯度异常概率。8.3 通用优化方案保证训练稳定数值改造将矩阵乘法转化为加法如 ResNet、LSTM 结构设计思想弱化梯度连乘放大效应梯度处理梯度归一化、梯度裁剪基础优化搭配合理权重初始化 ReLU 激活函数。九、技术演进与工程落地思路9.1 经典模型迭代路线单层感知机 → 多层感知机 (MLP) → SVM → 卷积神经网络 (CNN)规律技术框架不断更新但机器学习底层逻辑、数据处理、模型调优思想长期稳定掌握核心原理才能适配技术迭代。9.2 完整工程流程拿到数据后标准步骤数据层数据清洗、降噪、特征提取模型层根据任务选型回归 / 分类AI 辅助或人工选定模型初始化网络权重初始化、基础参数配置数据集划分拆分训练集、验证集、测试集训练调优训练模型、验证集调试超参数、正则化抑制过拟合最终评测使用仅一次的测试集评估泛化能力上线落地。9.3 待进阶知识点本文梳理了模型、调参、训练基础后续需深耕数据清洗、高阶特征工程、复杂网络结构设计。十、总结任务选型回归用线性回归 RMSE多分类用 Softmax二分类优先多层感知机 ReLU数据划分严格区分训练 / 验证 / 测试集小数据用 K 折交叉验证时序数据禁止随机划分拟合控制欠拟合提升模型容量过拟合使用 L2 正则、Dropout、扩充数据集训练稳定深度网络使用 Xavier 初始化 ReLU警惕梯度爆炸优先选用 float32工程核心理论是根基实操以泛化误差为唯一目标小幅过拟合在业务中可接受。