课程前言本课是导数、偏导、二阶偏导、梯度、驻点极值、拉格朗日约束综合复盘融合26-38课全部核心知识点所有题型均贴合大模型反向传播、损失优化、正则约束完整工程链路打通零散数学知识点形成完整解题思维链。知识串联总框架一元导数单层网络标量权重变化率多元一阶偏导多参数损失梯度分量二阶混合偏导权重耦合程度、海塞矩阵基础梯度向量SGD/Adam权重更新核心向量驻点海塞判定损失曲面极小/鞍点识别拉格朗日乘数权重衰减、归一化约束优化AI工程对应总逻辑整套数学工具串联就是大模型训练完整流程前向传播求函数→求梯度反向传参→二阶导数判断曲面形态→约束正则限制权重→寻找全局最小损失。10道跨知识点综合计算题完整步骤AI落地解读题1【一元导数梯度基础】设单层网络损失 f(x,y)2x^3 - xy^2求一阶偏导、梯度向量\nabla f计算点(1,2)处梯度模长解一阶偏导f_x6x2-y2,\ f_y-2xy梯度\nabla f(6x2-y2,\ -2xy)代入(1,2)\nabla f(6-4,\ -4)(2,-4)梯度模长|\nabla f|\sqrt{22(-4)2}2\sqrt{5}AI解读基础两层权重交互损失梯度模长代表单次参数更新幅度模值大训练震荡剧烈。题2【二阶偏导海塞矩阵】f(x,y)x^2\sin y求全部二阶偏导写出海塞矩阵解一阶偏导f_x2x\sin y,\ f_yx^2\cos y二阶纯偏导f_{xx}2\sin y,\ f_{yy}-x^2\sin y混合偏导f_{xy}2x\cos y,\ f_{yx}2x\cos y海塞矩阵H\begin{pmatrix}2\sin y 2x\cos y \2x\cos y -x^2\sin y\end{pmatrix}AI解读时序注意力周期性损失曲面海塞矩阵随坐标正负切换正定/负定训练存在大量鞍点。题3【梯度驻点判定】f(x,y)x23y2-2xy求驻点用海塞判别式判断极值类型解f_x2x-2y,\ f_y6y-2x令梯度为0联立\begin{cases}2x-2y0\6y-2x0\end{cases}解得驻点(0,0)二阶偏导f_{xx}2,f_{yy}6,f_{xy}-2判别式D2\times6-(-2)^280,\ f_{xx}0极小值点AI解读带权重耦合的MSE损失全局唯一极小梯度下降可稳定收敛。题4【指数函数梯度二阶曲率】f(x,y)e^{3x-y}求梯度、(0,0)处二阶混合偏导解梯度\nabla f(3e{3x-y}, -e{3x-y})二阶混合偏导f_{xy}-3e^{3x-y}(0,0)处f_{xy}-3AI解读深层网络指数激活函数混合偏导绝对值大权重耦合严重易出现梯度爆炸。题5【三角函数梯度极值】f(x,y)\cos(x2y)求点(\pi,0)梯度判断原点驻点类型解梯度\nabla f\big(-\sin(x2y),\ -2\sin(x2y)\big)(\pi,0)梯度\nabla f(0,0)原点(0,0)梯度(0,0)为驻点二阶偏导f_{xx}-\cos(x2y),f_{yy}-4\cos(x2y),f_{xy}-2\cos(x2y)原点判别式D(-1)\times(-4)-(-2)^20无法判定极值AI解读RoPE位置编码周期性曲面存在大量不可判定驻点普通梯度下降极易停滞。题6【约束优化基础拉格朗日】最小化f(x,y)x2y2约束3xy6求出最优驻点解构造拉格朗日函数Lx2y2\lambda(3xy-6)联立偏导方程组\begin{cases}2x3\lambda0\2y\lambda0\3xy6\end{cases}解得x\dfrac{27}{10},\ y\dfrac{3}{10}极小值f\dfrac{738}{100}AI解读L2权重衰减数学原型约束权重整体幅值抑制模型过拟合。题7【复合函数梯度综合】f(x,y)x\ln(1y)写出梯度、二阶纯偏导f_{yy}解梯度\nabla f\big(\ln(1y),\ \dfrac{x}{1y}\big)二阶偏导f_{yy}-\dfrac{x}{(1y)^2}AI解读交叉熵损失二维简化模型y维度二阶曲率随参数增大快速衰减。题8【鞍点综合判别】f(x,y)x2-y2xy求驻点并判定类型解f_x2xy,\ f_y-2yx驻点(0,0)二阶偏导f_{xx}2,f_{yy}-2,f_{xy}1判别式D2\times(-2)-1-50鞍点AI解读马鞍形损失曲面梯度归零但不是最优SGD无二阶信息会长期卡在该位置。题9【梯度模长约束综合】最大化f(x,y)3x4y约束x2y225计算最优位置梯度模长解拉格朗日函数L3x4y\lambda(x2y2-25)联立解得极值点(3,4)梯度\nabla f(3,4)模长|\nabla f|5AI解读注意力向量归一化约束强制向量模长固定大模型多头注意力标准操作。题10 压轴综合大题全知识点融合已知损失函数f(x,y)x^2 e^y -4y约束xy1无约束求梯度、判断是否存在驻点带约束拉格朗日乘数法求条件极小值解①无约束梯度\nabla f(2x ey, x2 e^y-4)令梯度为02x e^y0 \Rightarrow x0代入第二式-40无驻点②约束xy1 \Rightarrow y1-x构造Lx^2 e^{1-x}-4(1-x)\lambda(xy-1)联立求解得最优解x2,y-1极小值f4e^{-1}4AI解读Transformer复合注意力损失完整模型同时覆盖无约束梯度、驻点判定、正则约束三大场景是深度学习数学综合模板。课程核心总结衔接第40课全套知识总复习梯度是所有优化算法的底层输入一阶偏导组合直接决定参数更新方向二阶偏导与海塞矩阵用于判断损失曲面凹凸、区分极小值与鞍点拉格朗日乘数法统一处理所有权重约束、正则化场景综合题型训练目的打破知识点割裂能从工程需求反向匹配对应数学工具。你在推导模型损失梯度时最容易混淆一阶偏导、混合偏导、约束优化哪一块评论区说说难点
