1. 贝叶斯决策高频计算题解题套路贝叶斯决策几乎是每所高校机器学习期末考的必考题我改过上百份考卷后发现80%的失分都集中在先验概率转换和损失函数理解这两个环节。下面用最直白的语言帮你拆解解题步骤第一步画决策树状图把题目描述的病情诊断、垃圾邮件分类等场景用树状图可视化。比如医疗诊断题[根节点] 患者检查结果 ├─ [分支1] 患病(先验概率P0.01) │ ├─ 检测阳性(似然率P0.9) │ └─ 检测阴性(P0.1) └─ [分支2] 健康(P0.99) ├─ 检测阳性(假阳性P0.05) └─ 检测阴性(P0.95)第二步背熟贝叶斯公式的两种变体考试时推荐使用更直观的比值形式后验概率比 先验概率比 × 似然比 P(A|X)/P(B|X) [P(A)/P(B)] × [P(X|A)/P(X|B)]典型例题解析题目给出患癌先验概率1%检测准确率90%假阳性率5%求检测阳性时的患癌概率。按步骤计算先验概率比 0.01/0.99 ≈ 0.0101似然比 0.9/0.05 18后验概率比 0.0101×18 ≈ 0.1818转化为概率 0.1818/(10.1818) ≈ 15.4%避坑指南连续特征需用概率密度函数值代替离散概率多特征时假设条件独立朴素贝叶斯损失函数矩阵的行列对应关系要看清2. PCA降维三步搞定投影矩阵主成分分析看似涉及复杂的协方差计算其实考场上有固定解题模板核心步骤计算数据中心化每个维度减均值求协方差矩阵公式XᵀX/(n-1)对协方差矩阵特征分解速记技巧特征向量单位化后就是主成分方向特征值大小决定主成分重要性排序考试常考二维案例手算也能搞定实战案例给定数据矩阵X [[2,1], [1,2], [0,0]]求第一主成分方向中心化后得X [[1,0.5], [0,1.5], [-1,-2]]协方差矩阵 (XᵀX)/2 [[1,-0.25],[-0.25,2.125]]最大特征值2.13对应特征向量≈[-0.12, 0.99]易错点提醒忘记中心化直接计算是常见错误特征向量方向不唯一正负都算对考试可能要求写出降维后的坐标投影计算3. K-means聚类手算迭代过程详解虽然实际应用都用程序跑算法但考试常要求手算2-3轮迭代。掌握这个模板能应对90%的考题标准解题流程随机选择K个初始中心点题目通常已指定计算所有点到中心的距离矩阵分配点到最近中心形成簇重新计算簇中心均值重复直到簇不再变化距离计算技巧二维数据建议画散点图辅助考试多用欧式距离偶尔用曼哈顿距离遇到文本数据可能是余弦相似度例题演示初始中心为A(1,2)和B(2,1)数据点(1,1),(1,3),(2,2),(3,2)第一轮距离矩阵A距离0, 1, √2, √5 B距离1, √5, 1, √2分配结果簇1[(1,1),(1,3)], 簇2[(2,2),(3,2)]新中心A(1,2), B(2.5,2)注意事项出现等距情况时要说明处理方式空簇问题考场上直接说明即可收敛判断通常只需2轮迭代4. 决策树信息增益计算实战决策树考点集中在划分属性选择掌握信息增益计算就能拿下大部分分数关键公式信息增益 原信息熵 - 条件熵其中信息熵H(D) -Σ(pᵢlog₂pᵢ)条件熵H(D|A) Σ(|Dᵥ|/|D|)*H(Dᵥ)计算模板计算原始数据集的信息熵对每个属性按属性值划分子集计算各子集信息熵求加权平均得到条件熵选择信息增益最大的属性案例解析天气数据集14个样本9正5负天气温度湿度风力打球晴高高无否晴高高有否...略...计算天气属性的信息增益原始熵H(D) -[(9/14)log(9/14)(5/14)log(5/14)] ≈ 0.940天气三个取值晴5个样本2正3负熵≈0.971阴4个样本4正0负熵0雨5个样本3正2负熵≈0.971条件熵 (5/14)×0.971 (4/14)×0 (5/14)×0.971 ≈ 0.693信息增益 0.940 - 0.693 0.247考场技巧对数计算保留3位小数即可ID3用信息增益C4.5用增益率遇到连续值要说明离散化方法5. SVM支持向量机对偶问题推导要点虽然SVM推导复杂但期末考通常只考以下几个关键点必须掌握的公式原始优化问题 min ½||w||² CΣξᵢ s.t. yᵢ(wᵀxᵢ b) ≥ 1-ξᵢ拉格朗日函数 L ½||w||² CΣξᵢ - Σαᵢ[yᵢ(wᵀxᵢb)-1ξᵢ] - ΣμᵢξᵢKKT条件αᵢ[yᵢ(wᵀxᵢb)-1ξᵢ] 0μᵢξᵢ 0αᵢ ≥ 0, μᵢ ≥ 0考试常见题型求支持向量αᵢ0对应的样本计算决策函数wᵀx b中的参数核技巧的作用避免显式特征映射简单案例线性可分数据集正类(1,1), (2,2)负类(0,0), (1,0)通过求解可知支持向量是(1,1)和(1,0)决策边界为x₁ - x₂ - 0.5 0间隔距离为√2/2应试建议重点记忆软间隔的惩罚项含义了解常见核函数线性、多项式、高斯对偶问题求导过程不用完整背诵6. 神经网络梯度消失问题解决方案这是简答题的高频考点需要从多个角度阐述根本原因反向传播时梯度需连乘权重矩阵当权重|w|1时多次连乘会指数级减小五种解决策略激活函数选择用ReLU代替sigmoid/tanhLeakyReLU保留负轴信息初始化技巧He初始化w ~ N(0,√(2/nₗ₋₁))Xavier初始化w ~ U(-√6/√(nₗnₗ₋₁), √6/√(nₗnₗ₋₁))网络结构改进残差连接ResNet批量归一化BatchNorm优化算法Adam自适应学习率梯度裁剪Gradient Clipping正则化方法Dropout随机失活早停法Early Stopping考试应答模板梯度消失是指...定义。主要原因有...1-2点。目前主流解决方案包括...列举3种。以ReLU为例它通过...原理说明有效缓解了这一问题。实际应用中还需要结合...其他方法综合解决。7. 模型评估过拟合检测与应对这是简答题和开放题的常客需要掌握完整的知识框架过拟合诊断方法训练误差持续下降但验证误差上升模型在训练集准确率测试集准确率参数值异常大如权重达到10^6量级七种应对策略数据层面增加训练数据数据增强重采样消除类别不平衡模型层面简化模型结构减少层数/神经元添加Dropout层训练过程L1/L2正则化λ通常取0.001-0.1早停法验证误差连续3次不降则停交叉验证选择超参数考题变形可能要求对比L1/L2正则化L1产生稀疏解部分参数0L2使参数均匀减小弹性网络Elastic Net结合两者优点实验题应答技巧给出训练/验证曲线图时要指出过拟合发生的epoch位置建议的改进方法及预期效果8. 聚类算法K-means与DBSCAN对比这是高频简答题建议用表格对比特性K-meansDBSCAN聚类形状超球形任意形状需要指定参数K值邻域半径ε最小点数minPts处理噪声敏感鲁棒时间复杂度O(nKt)O(n²)最坏情况适合数据量大规模中小规模结果稳定性受初始中心影响大相对稳定典型考题某数据集含有噪声点且簇密度不均应选择哪种算法说明理由标准答案应指出DBSCAN更适合因为...结合表格特性需要解释参数设置原则如通过k-距离图确定ε可能需要的预处理步骤数据标准化扩展考点轮廓系数评估聚类效果层次聚类的树状图解读高斯混合模型GMM的软分配特性