1. 距离与范数从几何直觉到数学定义当我们谈论机器学习中的“距离”或“误差”时比如模型预测值与真实值相差多远或者两个数据点有多么相似我们实际上是在使用一套精密的数学语言来描述空间中的“远近”。这套语言的核心就是各种范数Norm和由其衍生的距离度量。对于刚入门的朋友可能会被L1、L2、欧式距离这些术语吓到觉得是艰深的数学。其实不然我们可以从最直观的几何画面开始理解。想象你身处一座规划整齐的棋盘式城市比如曼哈顿。你要从城市的一个十字路口走到另一个十字路口汽车只能沿着横平竖直的街道行驶不能斜穿街区。那么你实际需要行驶的路程就是沿着街道走的横向距离加上纵向距离。这种“只能走直角”的距离就是曼哈雪夫距离更正式的名字是L1范数下的距离。在数学上对于二维空间的两个点 (x1, y1) 和 (x2, y2)曼哈顿距离就是 |x1 - x2| |y1 - y2|。绝对值符号“| |”确保了距离总是正数并且计算的是坐标差的绝对值之和。现在换一个场景。你在一片开阔的草原上从A点直线走向B点。此时没有任何障碍最短路径就是连接两点的直线。这条直线的长度就是我们最熟悉的欧几里得距离也就是L2范数下的距离。它的计算公式是 √((x1 - x2)² (y1 - y2)²)。平方操作消除了正负号的影响开方则得到了我们直观感知的直线长度。欧式距离是勾股定理在更高维空间的直接推广。那么L1和L2名字里的“L”和数字代表什么呢“L”指的是“Lebesgue”空间这是一个数学分析中的概念但我们可以简单理解为一种衡量向量“大小”或“长度”的规则。下标“p”则代表一个参数。Lp范数是一个通用的公式家族对于一个n维向量 x (x1, x2, ..., xn)它的Lp范数定义为 (|x1|^p |x2|^p ... |xn|^p)^(1/p)。当我们取 p1就得到了L1范数绝对值之和取 p2就得到了L2范数平方和开根这个p可以取任意正实数。当p趋向于无穷大时就引出了L∞范数也叫切比雪夫距离。它不再关心所有维度的累加而是只关注那个“最突出”的维度。它的定义是 max(|x1|, |x2|, ..., |xn|)即所有坐标绝对值中的最大值。想象一下国际象棋里的国王它一次可以朝任何方向走一格那么国王从棋盘一格走到另一格所需的最少步数就是两个位置在行和列上差值绝对值的最大值这正是切比雪夫距离。而闵可夫斯基距离则是Lp范数在距离上的直接应用对于两个点其闵可夫斯基距离就是它们差向量的Lp范数。因此曼哈顿距离、欧式距离、切比雪夫距离都是闵可夫斯基距离在 p1, 2, ∞ 时的特例。理解这些不同的“尺子”为何存在关键在于它们度量的“重点”不同。L1像是一个严格的税务官每一分钱的误差每个维度的偏差都同等重要且必须全额计算L2像一个考虑整体影响的工程师它对大的误差惩罚更重因为平方操作放大更关注整体偏差的“能量”L∞则像一个寻找短板的项目经理只盯着那个最严重的错误。在机器学习的损失函数和正则化中这些不同的“关注点”将导致模型表现出截然不同的行为这也是我们深入探讨它们的意义所在。2. 损失函数用距离衡量模型的“错误”损失函数是机器学习模型训练的“指挥棒”。它的核心任务就是量化模型预测结果与真实情况之间的差距即计算一种“距离”。这个差距值损失值会反馈给优化算法如梯度下降驱动模型调整内部参数努力减小这个距离。因此选择哪种范数作为损失函数的基础直接决定了模型优化时的行为偏好。2.1 L1损失函数MAEL1损失也称为平均绝对误差其计算方式就是预测值与真实值之差的绝对值的平均。对于单个样本损失为 |y_pred - y_true|对于整个数据集则是所有样本绝对误差的平均。它的核心特性是对离群点不敏感。因为绝对值函数在零点处的导数不连续但对于大的误差其增长是线性的。这意味着一个偏离很远的异常点所产生的损失与它偏离的距离成正比而不会被平方放大。因此当你的数据中含有显著的噪声或异常值时使用L1损失能使模型更稳健不被这些“坏数据”过度带偏。注意L1损失在零点不可导这在利用梯度下降法优化时会带来一些小麻烦。在实际实现中我们通常使用次梯度subgradient或者平滑近似如Huber损失来处理这个问题。2.2 L2损失函数MSEL2损失即均方误差是最常见、最经典的损失函数。其计算是预测值与真实值之差的平方的平均。单个样本损失为 (y_pred - y_true)²。它的核心特性与L1相反对离群点非常敏感。由于平方操作大的误差会被显著放大例如误差为10会产生100的损失而误差为20会产生400的损失放大了4倍而非2倍。这使得模型会“极力讨好”那些误差大的样本从而可能导致模型为了拟合少数异常点而牺牲掉对整体趋势的把握。然而MSE有一个巨大的数学优势它是光滑可导的凸函数这使得基于梯度的优化非常高效、稳定。在数据噪声符合高斯分布正态分布的假设下最小化MSE等价于最大似然估计具有坚实的统计理论基础。2.3 如何选择损失函数一个实操视角选择L1还是L2不是一个非此即彼的问题而是一个基于数据特性和任务目标的权衡。当你怀疑数据中有大量异常值或者误差分布具有重尾特性时优先考虑L1损失MAE。例如在金融领域预测股价偶尔的市场剧烈波动异常值不应该让模型的学习方向发生根本性改变。当你确信数据噪声较小且符合高斯分布或者需要利用损失函数的光滑性进行稳定、快速的优化时L2损失MSE是默认且可靠的选择。绝大多数回归问题如房价预测、温度预测通常从MSE开始。一个折中的方案Huber损失。它本质上是一个“分段函数”当误差较小时它像MSE二次函数保证优化平滑当误差超过一个阈值δ时它像MAE线性函数降低对异常值的敏感度。这结合了二者的优点。在PyTorch或TensorFlow中你可以直接调用HuberLoss并需要设定一个超参数delta通常需要通过交叉验证来调整。# 一个简单的PyTorch示例对比MSE、MAE和Huber Loss import torch import torch.nn as nn # 模拟预测值和真实值 y_pred torch.tensor([1.0, 2.0, 3.0, 100.0]) # 假设最后一个预测是异常值 y_true torch.tensor([1.1, 2.1, 2.9, 10.0]) # 真实值中有一个10但模型离谱地预测了100 mse_loss nn.MSELoss() mae_loss nn.L1Loss() huber_loss nn.HuberLoss(delta1.0) # delta是需要调的超参数 print(fMSE Loss: {mse_loss(y_pred, y_true).item():.2f}) print(fMAE Loss: {mae_loss(y_pred, y_true).item():.2f}) print(fHuber Loss (delta1.0): {huber_loss(y_pred, y_true).item():.2f}) # 输出可能类似于 # MSE Loss: 2025.02 # 被100和10的差值平方(8100)主导巨大 # MAE Loss: 22.48 # 虽然也大但只是线性增长相对温和 # Huber Loss: 23.97 # 介于二者之间对巨大误差进行了“截断”处理从输出可以清晰看到那个离谱的预测值100 vs 10对MSE的影响是灾难性的损失值高达2025这可能会让梯度下降完全失控。而MAE和Huber损失则相对稳健得多。3. 正则化给模型戴上“紧箍咒”如果说损失函数是指导模型“做对题”的老师那么正则化就是防止模型“钻牛角尖”或“死记硬背”的教导主任。模型特别是参数众多的复杂模型如深度神经网络有一种强烈的倾向去完美拟合训练数据中的每一个细节包括噪声。这种现象称为过拟合。正则化的目的就是在损失函数上额外添加一个惩罚项这个惩罚项基于模型参数本身的大小从而约束模型的复杂度鼓励它学习更通用、更简洁的规律。3.1 L1正则化LassoL1正则化将模型参数的L1范数绝对值之和乘以一个系数λ后加到原始损失函数上。新的目标函数为Loss λ * Σ|w_i|其中w_i是模型参数。L1正则化的核心效果是稀疏化。它在优化过程中倾向于将不重要的特征对应的参数权重精确地压缩到零。这是因为L1范数的等高线是“菱形”与损失函数等高线相切时很容易切在坐标轴上。这相当于进行了一次嵌入式特征选择模型自动判断哪些特征无用并将其权重置零从而产生一个稀疏的模型。应用场景特征维度非常高如文本处理中的词袋模型且你相信只有少数特征真正起作用的场景。它可以帮助你进行特征选择提高模型的可解释性。超参数λ控制正则化的强度。λ越大惩罚越重更多的权重会被推向零模型也更简单。λ需要谨慎调优过大可能导致所有特征都被抑制造成欠拟合。3.2 L2正则化RidgeL2正则化将模型参数的L2范数的平方平方和乘以λ/2后加到损失函数上。目标函数为Loss (λ/2) * Σ(w_i)²。这里的1/2是为了求导后形式美观λ/2整体作为一个超参数。L2正则化的核心效果是权重衰减。它倾向于让所有参数权重都整体变小、接近零但通常不等于零。因为L2范数的等高线是“圆形”优化时参数会向原点收缩但很难精确落到坐标轴上。这能有效降低模型的复杂度减轻特征之间的多重共线性问题提升模型的泛化能力。应用场景绝大多数需要防止过拟合的情况。它是深度学习中最常用的正则化手段之一通常直接在优化器里设置weight_decay参数就是应用了L2正则化。与L1的直观对比想象一下限制参数在一个区域内。L1限制在一个菱形里解容易出现在菱形的角上稀疏L2限制在一个圆形里解容易出现在圆的边界上但不会是某个轴的点稠密但小。3.3 Elastic Net强强联合既然L1能稀疏L2能稳定何不结合Elastic Net正则化就是同时加入L1和L2惩罚项Loss λ1 * Σ|w_i| λ2 * Σ(w_i)²。它综合了二者的优点L1部分产生稀疏性进行特征选择L2部分处理可能存在的特征高度相关的问题并稳定优化路径。当特征数量远大于样本数或者特征之间存在强相关性时单独的Lasso可能表现不稳定Elastic Net通常是更好的选择。# 在Scikit-learn中如何使用不同正则化的线性模型 from sklearn.linear_model import LinearRegression, Lasso, Ridge, ElasticNet from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split # 生成模拟数据 X, y make_regression(n_samples100, n_features10, noise0.1, random_state42) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 无正则化 - 普通线性回归 lr LinearRegression() lr.fit(X_train, y_train) print(fLinear Regression coef_ not zero count: {(lr.coef_ ! 0).sum()}) # L1正则化 - Lasso lasso Lasso(alpha0.1) # alpha 即 λ lasso.fit(X_train, y_train) print(fLasso (alpha0.1) coef_ not zero count: {(lasso.coef_ ! 0).sum()}) print(fLasso coefficients: {lasso.coef_}) # L2正则化 - Ridge ridge Ridge(alpha1.0) ridge.fit(X_train, y_train) print(fRidge (alpha1.0) coef_ not zero count: {(ridge.coef_ ! 0).sum()}) print(fRidge coefficients: {ridge.coef_}) # Elastic Net elastic ElasticNet(alpha0.1, l1_ratio0.5) # l1_ratio控制L1和L2的混合比例 elastic.fit(X_train, y_train) print(fElasticNet coef_ not zero count: {(elastic.coef_ ! 0).sum()})运行这段代码你可以直观看到Lasso确实会产生真正的零权重而Ridge虽然让权重变小但很少会精确为零。4. 范数与距离在机器学习中的深层联系与应用理解了损失函数和正则化的基础我们就能以更高的视角审视范数在机器学习各个角落的应用。它们不仅仅是两个孤立的工具而是同一套数学思想在不同层面的体现。4.1 距离度量KNN与聚类算法的基石在无监督学习和一些简单的监督学习中如何定义“相似”或“相近”至关重要。K近邻算法分类或回归时需要找到距离目标点最近的K个训练样本。这里“距离”的选择直接影响结果。使用**欧式距离L2**是最常见的它符合我们对空间直线距离的直觉在特征尺度相似时效果很好。使用**曼哈顿距离L1**对数据中的异常值更鲁棒。在某些特定领域如城市街区导航、图像处理中某些像素差异计算L1距离可能更符合实际物理意义。使用**切比雪夫距离L∞**适用于那种某个维度上的最大差异决定一切的场景。比如在棋盘游戏中或者质量控制中“最差一项指标决定整体质量”的情况。K-Means聚类算法需要不断计算数据点到簇中心的距离并重新分配。距离度量决定了簇的形状。使用L2距离簇的边界是圆形的或超球面倾向于产生大小相对均匀的球形簇。使用L1距离簇的边界是菱形的可能对某些特殊分布的数据有更好的适应性。在Scikit-learn中可以通过metric参数来指定距离度量。4.2 模型评估与优化评估指标MAE和MSE本身不仅是损失函数也是最常用的回归模型评估指标。它们从不同角度告诉我们模型的平均误差水平。RMSE均方根误差由于和原始数据单位一致也常被使用。优化器的隐式正则化即使是随机梯度下降这样的优化算法其本身也带有某种“隐式正则化”效应这与优化路径在参数空间中的几何性质有关而几何性质由损失函数的曲面受范数影响决定。4.3 计算机视觉与自然语言处理中的特例余弦相似度 vs. 欧式距离在高维稀疏空间中如文本的TF-IDF向量向量的绝对长度可能信息量不大方向更重要。此时余弦相似度计算向量夹角的余弦比欧式距离更常用。有趣的是对于经过L2归一化使向量长度为1后的向量最小化它们之间的欧式距离等价于最大化余弦相似度。图像处理中的L1/L2在图像生成、风格迁移等任务中内容损失常常使用L2距离比较特征图的差异。而在图像去噪、重建中L1损失因其能更好地保持边缘和产生更稀疏的误差图而被青睐。5. 实战从理论到调参的完整闭环理论最终要服务于实践。下面我们以一个经典的波士顿房价预测使用Scikit-learn内置数据集为例串联起损失函数、正则化、距离度量以及模型选择的全过程。5.1 问题定义与数据准备我们的目标是基于房屋的各种特征如房间数、犯罪率、教师比例等预测其价格。这是一个典型的回归问题。import numpy as np import pandas as pd from sklearn.datasets import fetch_california_housing # 波士顿数据集已弃用改用加州房价 from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score from sklearn.neighbors import KNeighborsRegressor import matplotlib.pyplot as plt # 加载数据 housing fetch_california_housing() X, y housing.data, housing.target feature_names housing.feature_names # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 特征标准化对于基于距离的模型和带正则化的线性模型至关重要 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)5.2 基准模型与损失函数评估我们先建立一个无正则化的线性回归基准并用不同的损失指标评估它。# 基准模型普通线性回归 lr_baseline LinearRegression() lr_baseline.fit(X_train_scaled, y_train) y_pred_baseline lr_baseline.predict(X_test_scaled) # 用多种指标评估 print( 基准模型 (线性回归) 性能 ) print(fR² Score: {r2_score(y_test, y_pred_baseline):.4f}) print(fMAE (L1 Loss): {mean_absolute_error(y_test, y_pred_baseline):.4f}) print(fMSE (L2 Loss): {mean_squared_error(y_test, y_pred_baseline):.4f}) print(fRMSE: {np.sqrt(mean_squared_error(y_test, y_pred_baseline)):.4f})5.3 引入正则化调参与比较现在我们引入L2正则化并使用网格搜索寻找最优的超参数alpha。# 设置参数网格 param_grid {alpha: [0.001, 0.01, 0.1, 1, 10, 100, 1000]} # 使用Ridge回归L2 ridge_gs GridSearchCV(Ridge(), param_grid, cv5, scoringneg_mean_squared_error, verbose0) # 用负MSE因为GridSearchCV默认最大化得分 ridge_gs.fit(X_train_scaled, y_train) print(\n Ridge回归 (L2正则化) ) print(f最佳 alpha: {ridge_gs.best_params_[alpha]}) best_ridge ridge_gs.best_estimator_ y_pred_ridge best_ridge.predict(X_test_scaled) print(f测试集 R²: {r2_score(y_test, y_pred_ridge):.4f}) print(f测试集 MSE: {mean_squared_error(y_test, y_pred_ridge):.4f}) # 比较系数变化观察正则化如何收缩系数 coef_comparison pd.DataFrame({ Feature: feature_names, LR_Coeff: lr_baseline.coef_, Ridge_Coeff: best_ridge.coef_ }) print(\n系数对比 (部分):) print(coef_comparison.head())你会发现Ridge回归的系数绝对值普遍比线性回归的要小这就是“权重衰减”的直观体现。最佳alpha值通常需要通过交叉验证来确定。5.4 尝试L1正则化与特征选择接下来我们尝试Lasso观察其稀疏化效果。# 使用Lasso回归L1 lasso_gs GridSearchCV(Lasso(max_iter10000), param_grid, cv5, scoringneg_mean_squared_error, verbose0) lasso_gs.fit(X_train_scaled, y_train) print(\n Lasso回归 (L1正则化) ) print(f最佳 alpha: {lasso_gs.best_params_[alpha]}) best_lasso lasso_gs.best_estimator_ y_pred_lasso best_lasso.predict(X_test_scaled) print(f测试集 R²: {r2_score(y_test, y_pred_lasso):.4f}) print(f测试集 MSE: {mean_squared_error(y_test, y_pred_lasso):.4f}) # 查看被置零的特征数量 lasso_coef best_lasso.coef_ num_zero_coef np.sum(lasso_coef 0) print(fLasso将 {num_zero_coef} 个特征的系数压缩到了0。) print(非零系数对应的特征) for feat, coef in zip(feature_names, lasso_coef): if coef ! 0: print(f {feat}: {coef:.4f})Lasso的结果很可能将一部分不重要的特征系数精确压缩为零实现了自动特征选择。这对于高维数据是极大的优势。5.5 基于不同距离度量的KNN回归最后我们换一个非参数模型看看距离度量的选择如何影响K近邻回归器的性能。# 比较不同距离度量的KNN knn_metrics [euclidean, manhattan, chebyshev] results {} for metric in knn_metrics: knn KNeighborsRegressor(n_neighbors5, metricmetric) scores cross_val_score(knn, X_train_scaled, y_train, cv5, scoringr2) results[metric] scores.mean() print(fKNN (metric{metric:10}) 平均交叉验证R²: {scores.mean():.4f} (/- {scores.std()*2:.4f})) # 选择最好的度量方式在测试集上评估 best_metric max(results, keyresults.get) knn_best KNeighborsRegressor(n_neighbors5, metricbest_metric) knn_best.fit(X_train_scaled, y_train) y_pred_knn knn_best.predict(X_test_scaled) print(f\n最佳度量 {best_metric} 在测试集上的R²: {r2_score(y_test, y_pred_knn):.4f})在这个例子中曼哈顿距离可能表现不差因为它在某些情况下对数据尺度不那么敏感且对异常点更鲁棒。5.6 综合对比与决策将以上所有模型在测试集上的核心指标进行汇总对比models { Linear Regression: y_pred_baseline, Ridge (L2): y_pred_ridge, Lasso (L1): y_pred_lasso, fKNN ({best_metric}): y_pred_knn } comparison [] for name, y_pred in models.items(): comparison.append({ Model: name, R²: r2_score(y_test, y_pred), MAE: mean_absolute_error(y_test, y_pred), MSE: mean_squared_error(y_test, y_pred), RMSE: np.sqrt(mean_squared_error(y_test, y_pred)) }) df_comparison pd.DataFrame(comparison).set_index(Model).round(4) print(\n 所有模型在测试集上的性能对比 ) print(df_comparison)通过这个表格你可以清晰地看到引入正则化Ridge, Lasso后模型在测试集上的性能如R²可能优于无正则化的线性回归这说明正则化有效缓解了过拟合提升了泛化能力。Lasso在保持相近性能的同时可能使用了更少的特征系数稀疏模型更简单、可解释性更强。KNN作为一个完全不同的模型其性能高度依赖于距离度量的选择和K值它提供了另一种解决问题的思路。6. 避坑指南与高级技巧在实际项目中应用这些概念时有一些陷阱需要避开也有一些技巧可以提升效果。6.1 特征标准化不可省略的前置步骤只要你的模型涉及距离计算或正则化特征标准化或归一化就几乎是强制要求。为什么如果特征A的取值范围是[0, 1000]特征B是[0, 1]。那么在计算欧式距离时特征A的微小变化比如10会完全主导距离掩盖特征B的所有信息。同样在L1/L2正则化中惩罚项是对所有权重进行惩罚。如果特征尺度差异大大尺度特征对应的权重自然会被惩罚得更“惨”这并非因为该特征不重要而是因为它的尺度大这会导致模型有偏。怎么做最常用的方法是Z-score标准化对每个特征减去其均值除以标准差。使得处理后的每个特征数据均值为0标准差为1。使用StandardScaler时务必只在训练集上计算均值和标准差然后用这个均值和标准差去转换验证集和测试集这是数据泄露的经典陷阱。6.2 损失函数与正则化的组合艺术损失函数和正则化项是加在一起共同优化的。你需要理解它们的合力。MSE L2这是最常见的组合称为“岭回归”。优化过程稳定解唯一。MAE L1这个组合可能导致优化困难因为两者在零点都不可导。通常需要专门的优化算法如坐标下降、近端梯度下降。Huber Loss L2这是一个鲁棒性很强的组合。Huber损失处理异常值L2正则化控制模型复杂度。自定义组合在某些领域如金融分位数回归损失函数可能是分位数损失再结合L1正则化进行稀疏预测。6.3 超参数调优λ/α的选择正则化强度λ在Scikit-learn中常命名为alpha是最关键的超参数之一。网格搜索与交叉验证如我们上面的例子所示使用GridSearchCV或RandomizedSearchCV在验证集上搜索最佳值是最可靠的方法。不要根据测试集性能来选择α那会导致对测试集的过拟合。学习曲线绘制模型性能如验证集误差随α变化的曲线。通常你会看到一个U型曲线α太小模型过拟合高方差α太大模型欠拟合高偏差最优α在谷底。经验值对于深度学习中的L2权重衰减一个常见的初始尝试值是1e-4或1e-5。但这只是一个起点。6.4 从线性模型到深度学习在深度神经网络中这些概念被广泛应用且更为复杂。损失函数MSE和MAE仍是回归任务的主流。分类任务则使用交叉熵损失其本质也是一种衡量概率分布之间“距离”的度量。正则化L2正则化几乎无处不在通过优化器的weight_decay参数实现。L1正则化在深度学习中使用相对较少因为网络的参数量极大强行稀疏化可能损害表征能力但也有一些工作研究稀疏神经网络。Dropout可以看作一种不同于L1/L2的、针对网络结构的随机正则化。梯度裁剪虽然不算严格的正则化但它通过限制梯度的大小可以防止训练不稳定其思想与限制参数大小L2范数有相通之处。6.5 一个关于L1正则化的常见误解很多人认为L1正则化因为能产生稀疏解所以一定会提升模型的泛化性能。这不完全正确。L1正则化的主要优势在于特征选择和模型可解释性。如果所有特征都是有用的那么L1强行将一些系数置零反而可能丢失信息损害预测能力。它的泛化提升来源于它防止了过拟合通过约束参数空间并且当真实模型确实是稀疏的时候它找到了更正确的结构。因此是否使用L1需要基于你对问题本身“是否稀疏”的先验知识来判断。7. 总结与个人实践心得走过了从几何直观到数学定义从损失函数到正则化再到实战和避坑的完整路径我希望你现在对L1, L2, Lp这些概念不再感到陌生和畏惧而是能将其视为工具箱中一套得心应手的尺子和扳手。我个人在多年的项目实践中总结出几点朴素的体会第一没有“银弹”。不存在一个放之四海而皆准的最佳范数或距离。MSE因其良好的数学性质通常是安全的起点但当你发现模型对数据中的“极端值”反应过度时就该严肃考虑MAE或Huber损失了。同样L2正则化是深度学习的默认配置但当你处理高维特征且需要模型解释时Lasso提供的稀疏性是无价的。第二理解数据的本质比选择算法更重要。在动手前花时间做探索性数据分析。看看你的误差分布是接近正态分布还是长尾分布特征之间是否存在严重的多重共线性特征的数量级是否差异巨大这些问题的答案会直接告诉你该用L1还是L2该标准化还是该用其他处理。例如看到误差分布有长尾我几乎会立刻在MSE和Huber损失之间做对比实验。第三标准化是“安全带”。只要模型涉及距离或正则化我养成的肌肉记忆就是先写标准化代码。这能避免无数诡异且难以调试的问题。记住用训练集的统计量去转换所有数据。第四调参是科学也是艺术。像λ/α这样的超参数网格搜索是基础。但我经常还会画学习曲线直观地看看模型在欠拟合和过拟合之间是如何权衡的。对于Elastic Net中的l1_ratio我通常会从0.1, 0.5, 0.9这样几个值开始试观察模型稀疏性的变化趋势。最后在深度学习中L2正则化权重衰减的强度需要小心对待。过大的weight_decay会严重拖慢训练速度甚至让模型学不到东西。我习惯从一个很小的值如1e-4开始如果模型明显过拟合训练损失远低于验证损失再逐步调大。同时结合Dropout、早停等正则化技术效果往往比单纯调大权重衰减更好。范数、距离、损失函数、正则化这些概念交织在一起构成了机器学习模型“学习”和“泛化”能力的数学基础。理解它们不仅能帮你更好地调参更能让你在模型出现问题时有能力洞察其深层原因从而设计出更优雅的解决方案。希望这篇长文能成为你手边一份有用的参考。
