一、分类器与回归器的核心区别1. 模型定义与划分依据分类器Classifier预测离散类别sklearn模型后缀为Classifier。树模型切分依据基尼系数、信息熵核心目标是提升节点纯度。回归器Regressor预测连续数值sklearn模型后缀为Regressor。树模型切分依据方差核心目标是将数值相近的样本归为同一节点。重点误区逻辑回归名称带“回归”本质是分类模型不属于回归任务。典型模型对比RandomForestClassifier分类、RandomForestRegressor回归2. 回归任务四大评估指标MAE 平均绝对误差预测值与真实值差值的平均值对异常值惩罚温和鲁棒性强。MSE 均方误差误差平方的平均值放大大误差、重惩罚离群点对异常数据敏感。RMSE 均方根误差MSE开根号量纲与原始数据一致是科研、项目论文最常用指标。R² 决定系数取值0~1越接近1拟合效果越好多特征场景优先使用修正R²避免虚高评估。二、多输出回归任务1. 常见业务场景气象预测同步预测气温、降水量、风速、湿度等多指标工业质检预测零件寿命、抗压强度、磨损率等多项性能经济预测基于宏观数据预测就业率、消费指数、汇率等指标计算机视觉目标检测输出边框坐标x1、y1、x2、y22. 三种建模实现方案原生多输出树模型、神经网络原生支持可学习多个输出标签的内在关联效果最优。封装改造通过 MultiOutputRegressor 封装普通单输出回归模型适配绝大多数传统机器学习算法。独立拆分建模每个输出指标单独训练一个模型缺点完全丢失标签间的关联关系拟合效果有限。三、置信区间统计核心1. 核心概念现实局限无法获取整体数据真值仅能采集有限样本单点预测结果存在偶然性不够严谨。核心作用置信区间是带容错率的数值范围用于表征总体真值的大概率存在区间。通用标准95%置信区间为默认双尾对称区间同等兼顾高估、低估风险。前置前提仅样本无采集偏差、能代表总体时置信区间才有参考价值样本失真则区间无效。2. 传统统计三大分布Z正态分布适用于大样本、已知总体标准差的场景。t分布适用于小样本场景用样本标准差替代总体标准差计算。卡方分布专门用于数据方差的区间估计。核心局限依赖严格的数据分布假设工业、实测数据大多无法满足适用性有限。四、蒙特卡洛思想与Bootstrap自助法1. 蒙特卡洛核心思想通过大量随机重复模拟实验求解传统数学公式难以计算的复杂问题是数值模拟的核心思路。2. Bootstrap自助法工业主流核心逻辑将现有样本当作模拟总体通过有放回重采样生成多组新样本用样本波动模拟真实数据的总体扰动。采样规则新样本数量与原样本一致允许样本重复抽取、部分样本不被抽取制造数据差异性。实操流程原始样本 → 多次有放回重采样 → 多组数据集分别训练模型 → 汇总预测分布构造置信区间。优缺点无需数据分布假设、实现简单无法弥补原始样本本身的采集偏差。3. 实战示例线性回归多次Bootstrap重采样拟合多条回归线根据直线分布密度生成置信区间该方法可通用拓展至决策树等所有非线性模型。五、Bagging集成与随机森林1. Bagging原理全称 Bootstrap aggregating自助聚合基于Bootstrap重采样生成多份独立数据集分别训练多个模型最终聚合所有模型输出结果提升稳定性。2. 随机森林Bagging进阶在Bagging「样本随机采样」的基础上新增特征随机采样核心流程定义单棵决策树切分规则每棵树通过Bootstrap抽取不同训练样本每棵树随机选取部分特征做节点分裂多树结果聚合降低过拟合、提升模型泛化能力。3. 机器学习与统计模型核心差异传统机器学习仅输出单点预测点估计无法量化预测不确定性工业中如需计算置信区间统一使用 Bootstrap 重采样方案实现。浙大疏锦行