本次学习了李宏毅老师深度学习课程中的半监督学习内容。传统监督学习极度依赖大量带标签样本但在真实场景中标注成本极高无标签数据数量极其庞大。半监督学习的核心目标就是利用少量有标签数据搭配大量无标签数据共同训练模型在几乎零成本的情况下提升模型泛化能力是现代深度学习非常重要的学习范式。一、半监督学习基本定义设数据集分为两部分1.有标签数据集2.无标签数据集其中满足 UR 监督学习仅使用 R 条数据而半监督学习同时利用 R 条标注数据和 U 条无标注数据优化模型。二、半监督学习的两大核心假设半监督学习之所以有效完全依赖两个基础假设1. 平滑假设若两个样本 X1 X2 在特征空间距离相近则对应的输出 Y1 Y2大概率相同。 公式表达样本相似度基于该假设无标签样本可以根据周边标注样本的类别完成推理2. 低密度分隔假设分类边界会落在数据概率密度极低的区域同类样本聚集在高密度区域让模型能够利用全局数据分布画出更合理的决策边界。三、自训练Self-training原理与公式用有标签数据最小化损失对无标签数据预测伪标签筛选高置信度样本加入训练集整体损失变为优缺点优点结构简单、可直接落地、无需更改网络结构。 缺点初始模型不准时会产生错误伪标签累积模型偏差会越来越大。四、生成式半监督学习EM 算法1. 仅有标签数据的极大似然2. 加入无标签数据后无标签数据的对数似然为边缘概率整体目标函数该式无法直接求解因此使用EM 算法迭代优化E 步估计无标签数据的后验分布M 步最大化整体似然更新参数五、直推学习与归纳学习1.直推学习只对当前已知无标签数据预测不学习通用模型无法泛化新数据。2.归纳学习利用无标签数据更新通用模型参数,可泛化任意新样本是深度学习主流方式。