写在前面欢迎大家关注Rocky的公众号WeThinkIn欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。核心导读MiniMax 这篇《MiniMax Sparse Attention》讨论的不是一个“看起来更优雅”的注意力变体而是一个非常现实的问题当大模型上下文长度走到 100K、1M 甚至更长时dense softmax attention 的二次复杂度已经不再是论文里的公式问题而是推理成本、延迟、显存和产品可用性的核心瓶颈。MSA也就是 MiniMax Sparse Attention给出的路线是不推翻 Transformer不用线性注意力替换 softmax也不把长上下文能力完全交给外部 RAG而是在主流 GQA 架构上加一个轻量级 Index Branch让模型为每个 query 和每个 GQA group 动态选择少量 KV blocks再由 Main Branch 只在这些 block 上做精确 softmax attention。这篇论文最值得看的地方有三个。第一它不是固定滑窗。MSA 是内容自适应的 blockwise sparse attention不同 GQA group 可以选择不同远程 block因此能保留比固定窗口更强的长程检索能力。第二它不是只做算法。论文把 sparse attention 和 GPU kernel 一起设计包括 exp-free Top-k、KV-outer sparse attention、query gather、两阶段 combine、persistent load balancing。也就是说它关心的不是理论 FLOPs 省了多少而是 H800 上真实 prefill 和 decoding 能不能加速。第三它不是小模型 demo。论文在 109B 参数 MoE、3T token 训练预算、原生多模态训练上验证声称在 1M context 下相比 GQA 每 token attention compute 降低 28.4×配套 kernel 实现 14.2× prefill 和 7.6× decoding wall-clock speedups。Rocky 认为MSA 的价值不在“稀疏注意力”这个概念本身而在它给出了一个更接近产业部署的答案长上下文能力的下一阶段不是单纯把 context window 标到更大而是把注意力预算变成可学习、可执行、可工程化的稀缺资源。1. 为什么百万上下文不能只靠 dense attention 硬撑长上下文正在从“模型卖点”变成“Agent 基础设施”。代码仓库级理解、长视频/长文档分析、企业知识库、长期记忆、复杂工具链轨迹、浏览器 Agent、软件工程 Agent都要求模型在一次任务中保留大量历史状态。问题在于dense attention 的计算和缓存访问会随序列长度快速膨胀。context window 可以写成 1M但如果每一步都让每个 query attend 到全部历史 token部署成本会非常难看。所以长上下文有两个层次能不能在训练/评测上支持更长窗口能不能在真实服务里以可接受延迟和成本使用这个窗口。很多长上下文论文解决的是第一件事MSA 更关注第二件事。论文的出发点很明确frontier LLM 的长上下文需求来自 agentic workflows、repository-scale code reasoning、persistent memory 等场景但 quadratic attention cost 在部署规模上不可持续。这个判断很工程化也很符合实际。过去常见的长上下文降本路线有几类线性注意力、状态空间模型、滑动窗口、固定 global token、KV cache pruning、inference-time sparsification、混合架构。它们各有优点但也有约束有的牺牲 exact softmax有的训练和推理路径不一致有的只对 decode 有效有的 sparse pattern 太固定有的 kernel 难以充分利用 GPU。MSA 的选择比较保守也更产业化保留 softmax attention 的主体只把可见上下文从“全量”改成“模型动态选择的一小组 KV blocks”。这是一条“少改底座多改路由”的路线。2. MSA 的核心在 GQA 上做 group-specific block selection要理解 MSA先看它和 GQA 的关系。GQA也就是 Grouped Query Attention用多个 query heads 共享较少的 KV heads。比如论文实验配置里有 64 个 query heads、4 个 KV heads每个 KV head 服务一组 query heads。这个结构已经是现代大模型降低 KV cache 和推理成本的重要基础。MSA 顺着 GQA 做稀疏化每个 GQA group 不再 attend 全部 KV而是由 Index Branch 为这个 group 选择 top-k KV blocks。随后Main Branch 在这些 block 内做标准 softmax attention。这有几个关键设计。第一选择粒度是 block不是 token。论文默认 block sizeB k 128 B_k128Bk​128top-k block 数量k 16 k16k16因此每个 query/GQA group 最多看16 × 128 2048 16 \times 128204816×1282048个 token。相比 1M 上下文这是非常小的预算。第二选择是 GQA group-specific不是所有 heads 共享一个全局稀疏 pattern。不同 group 可以选择不同远程 block从而保留多头注意力分工。第三local block 始终保留。模型不会因为随机早期选择或稀疏路由错误而丢掉 query 附近的基本上下文。第四Index Branch 是轻量级 selector而不是额外的注意力输出分支。最终设计里它只负责选 block不直接给模型增加一条 value aggregation 路径。这张可视化很重要。它说明 MSA 学到的不是一个全局固定模板而是 group-specific sparse retrieval。不同 group 都保留局部对角线和 sink column但远程 stripe 不同。这和多头注意力的直觉一致不同 head/group 应该承担不同信息检索角色。Rocky 认为这一点是 MSA 和固定滑窗路线的核心差异。长上下文里真正难的不是永远看最近 2048 token而是在百万 token 中找出“当前 query 真正需要的少量远程信息”。如果稀疏模式不随内容变化长上下文能力很容易退化成一个看起来很长、实际只能近邻建模的窗口。3. Attention sink为什么第一个 token 仍然重要论文专门讨论了 attention sink也就是很多 attention head 会把显著权重放到序列开头 token 上。在 dense attention 中attention sink 是一个常见现象。问题是稀疏注意力如果完全靠动态选择是否还需要硬编码选择第一个 blockMSA 的观察是即使不强制选择 first block训练后的 Index Branch 也会自然把初始 block 选出来。这对设计有两个含义。一方面attention sink 是模型自己学到的真实结构不只是人为规则。稀疏选择器需要有能力保留这种结构否则可能破坏基础建模。另一方面最终 MSA 不需要把 first block 写死成强规则。论文在附录的 forced sink/local ablation 里说明去掉这些硬编码后模型质量整体影响有限。最终只强制保留 local block。这体现了 MSA 的一个风格尽量少放硬规则把动态选择交给可训练 indexer但保留必要的稳定性约束。4. 训练难点Top-k 不可导Indexer 怎么学会选对 blockMSA 最大的问题不是“能不能稀疏”而是“稀疏选择器怎么训练”。Top-k selection 本身不可导。Main Branch 的语言建模损失不能直接告诉 Index Branch你刚才应该选择哪几个 KV blocks。如果 indexer 学不好Main Branch 就会看错上下文模型能力下降。论文尝试了不同训练信号。早期方案包括让 Index Branch 自己产生一个 attention output并通过 LM loss 训练另一个方案是用 KL loss让 Index Branch 的分布对齐 Main Branch 在选中 support 上的 attention distribution。最终 MSA 保留的是 KL alignment 这条线。直觉上它让 Main Branch 做老师在被选择的 tokens 上Main Branch 的 attention pattern 表示哪些 token 真正重要Index Branch 学会预测这种重要性。但这里又有一个危险如果 KL loss 的梯度流回 backbone模型可能不是“让 indexer 学会选择”而是“让 backbone 简化自己的 attention 分布以降低 KL”。这会干扰主模型训练。因此论文引入 gradient detachKL 只训练 Index Branch 的 index Q/K projections不让辅助损失污染 backbone。这是一个非常实用的工程细节。很多论文写 sparse attention会把 selector 说成一个自然模块但真正训练时辅助损失如何路由梯度直接决定模型会不会崩。Rocky 的判断是MSA 最有价值的部分之一就是它没有只停留在“Top-k 稀疏”这个表层而是把训练稳定性问题拆清楚了KL 给 indexer 学习信号detach 把这个信号限制在 indexerwarmup 再解决早期选择随机的问题。5. Indexer warmup让选择器先学会看再让它控制路由论文还有一个关键训练技巧Indexer warmup。原因很简单训练早期 Main Branch attention distribution 变化很快。如果一开始就让一个还没学会的 indexer 决定 sparse routingMain Branch 可能被路由到无意义 token反过来又削弱 indexer 的监督信号形成恶性循环。MSA 的做法是两阶段训练warmup 阶段Main Branch 仍跑 full attentionIndex Branch 学习对齐完整 attention distributionsparse 阶段启用 top-k sparse selection让 Main Branch 只看选中的 blocks。这个设计和大模型训练中的很多经验一致在系统刚启动时路由器、MoE gate、retriever、tool selector 都不应该过早掌握“硬路由权力”。先让它对齐、预热再让它影响主路径通常更稳。对 Agent 系统也一样。很多“让模型自己选工具/自己路由上下文”的系统失败不是因为选择器概念错而是选择器一开始没有足够监督和 warmup导致错误路由放大。MSA 把这个经验落实到了 attention 内部。6. Learnable sink 和滑动窗口消融哪些设计最后被删掉了MSA 的论文风格比较工程化它不仅写保留了什么也写删掉了什么。一个例子是 learnable attention sink。直觉上如果模型天然需要 sink token不如显式加一个 learnable sink parameter。但实验显示learnable sink 并没有稳定带来优势有些 head 会转向它有些 head 仍然保留 first-token sink。另一个例子是滑动窗口 baseline。固定 pattern 可以选择 first block local window在相同 token budget 下更简单但它不能根据 query 内容动态检索远程 block。论文的 agent-oriented PPL 对比显示MSA 相比 FLOP-matched sliding window 更有优势。这些消融支持了一个判断长上下文不只是“近邻窗口 少量全局 token”的问题模型需要内容自适应地找远程信息。固定窗口适合局部连贯性但 Agent 任务、代码仓库、长文档检索、跨段引用往往需要跳转到远处的少量关键证据。动态选择的价值就在这里。7. Kernel 设计FLOPs 省了不等于真的快了MSA 论文很强调 kernel这是它比很多稀疏注意力想法更接近落地的地方。稀疏注意力的常见陷阱是理论 FLOPs 看起来少了但 GPU 上不一定快。原因包括索引开销、gather/scatter、内存访问不规则、tensor core 利用不足、不同 KV block 热度极不均衡、softmax split 后归一化复杂等。MSA 为此做了几件事。第一exp-free Top-k。由于 softmax 不改变 score 排序Top-k selection 可以直接在 raw scores 上做省掉 max/exp/sum。第二针对小 k 设计 per-thread register top-k。论文部署设置是B k 128 , k 16 B_k128,k16Bk​128,k16候选 block 数和 k 都不大因此通用 top-k kernel 不一定最优专门 kernel 更合适。第三KV-outer sparse attention。Q-outer 直觉上更自然但会导致每个 query 选择不同 KV subset难以填满 MMA。KV-outer 让同一个 KV block 下的 queries 聚合起来提高 tensor core 利用率。第四pre-scheduled tile chunking 和 two-phase combine。某些 KV blocks尤其 sink-like blocks会被大量 queries 选中。直接 one-CTA-per-tile 会负载倾斜MSA 预先切分 hot tiles并通过两阶段 combine 合并 softmax partials避免 atomic updates。这些细节说明一个现实稀疏注意力是算法和系统共同决定的能力。没有 kernel稀疏只是纸面 FLOPs没有可学习选择器kernel 只是固定模式加速。8. 109B 规模实验真正要看的是“能力保持 成本下降”论文主实验在 109B 参数 MoE 模型上做。模型约 109B total parameters6B activated parameters per token41 层 MoE backbone64 query heads、4 KV headsMSA 使用B k 128 , k 16 B_k128,k16Bk​128,k16。训练路线有两条MSA-PT从头训练 sparse attention 模型3T token 预算其中 40B token 用于 indexer warmupMSA-CPT从 2.6T token 的 full-attention checkpoint 出发把 dense attention 替换成 MSA再继续训练 400B token其中前 40B token 用于 warmup。主结果的关键不是某个 benchmark 谁高 0.几分而是 MSA 在文本、数学、代码、图像、视频、长上下文、agent PPL 上总体接近 Full Attention。尤其 MSA-PT 在不少数学、多模态和长上下文检索项上表现强说明从头稀疏预训练可能让模型表征更适应 sparse patternMSA-CPT 更像保守迁移路线适合已有 dense checkpoint 转换。论文的 Table 级证据可以压缩成下面这张速查表证据单元论文结论Rocky 解读Top-k latency table专用 top-k kernel 在部署设置下快于通用torch.topk/ radix-selectMSA 的速度来自算法和 kernel 协同不是只改 attention mask代表性评测表Full、MSA-PT、MSA-CPT 在 3T token 预算下整体接近稀疏化没有明显破坏通用、代码、多模态和 agent PPL 能力HELMET/RULER 128K 表MSA-CPT 长上下文扩展后接近 Full AttentionRULER-128K overall 甚至略高2048 token/ query 的预算仍可保留较强长上下文能力但细分项有得有失block size 消融block 32/64/128 的 PPL 接近RULER 没有明显单调退化较大 block 可以换 kernel 效率质量损失在实验里可控forced sink/local 消融去掉强制 sink 和固定 local 后多数指标变化有限selector 能学到 sink/local 结构最终设计可以更简洁这里要注意边界。MSA 不是“所有指标无损”。论文结果里不同训练路线在不同任务上有涨有跌长上下文细分项也不是全部胜出。它更像证明了一个工程可接受区间在 109B 级别MSA 可以把 attention 成本大幅降下来同时让能力损失保持在可管理范围。这已经很有价值。9. 效率结果1M 上下文下 28.4× FLOPs 下降14.2×/7.6× 实测加速效率图是这篇论文最核心的落地点。在相同实验模型配置下MSA 的 Main Branch 每个 query 只看 2048 个 KV tokens而 dense GQA 要看完整上下文。随着 context length 增长dense attention 继续按全长增长而 MSA 的主 attention budget 基本固定差距自然扩大。论文报告的关键数字是1M context 下每 token attention compute 相比 GQA 降低 28.4×配套 kernel 在 H800 上实现 14.2× prefill wall-clock speedupdecoding 实现 7.6× wall-clock speedup。实测加速低于理论 FLOPs 降低这是正常的。稀疏注意力有索引、Top-k、反向索引、query gather、load balancing、two-phase combine 等额外开销。真正重要的是这些开销没有吞掉全部收益且随着上下文变长MSA 的优势更明显。Rocky 认为这组数字的意义在于它把“百万上下文”从模型能力指标拉回到服务成本指标。模型能看 1M token 只是第一步关键是每次长上下文 prefill 和 decode 的成本能不能被业务接受。10. 和 NSA、MoBA、DSA、MInference 等路线的差异MSA 位于一个很拥挤的技术邻域高效长上下文 attention。简单拆一下MInference / FlexPrefill 等方法更多是在推理阶段构造 sparse supportNSA 使用多分支结构包括 compressed attention、selected attention、sliding windowMoBA 也是 block attention但 block 更大indexer 训练路径不同DSA 依托 MLA/MQA 模式使用 token-level lightning indexer固定滑窗和 attention sink 类方法则更偏静态规则。MSA 的特点是组合了几个约束面向 GQA这是当前大量大模型的主流结构每个 GQA group 独立选择 blockblock-level 粒度便于连续 KV 读取和 GPU 执行Index Branch 只做 selector用 KL alignment 训练算法和 kernel 共同设计。它不是理论上最灵活的稀疏注意力也不是结构最复杂的稀疏注意力。它选择的是“够表达、够稳定、够好部署”的中间点。这很符合论文里提到的 Occam’s razor经过消融只留下必要组件。11. 对 Agent 和长上下文产品的意义MSA 的应用场景非常明确Agentic workflows。Agent 真正吃上下文的地方不是简单问答而是长期任务状态软件工程 Agent 需要读完整仓库、issue、历史修改、测试日志浏览器 Agent 需要记住长轨迹、网页结构、用户偏好企业 Agent 需要跨文档、跨表格、跨会话检索多模态 Agent 需要同时处理长视频、截图、工具结果、动作历史长期记忆系统需要在大量历史中找出少数关键片段。这些任务的共同点是当前 query 通常只需要少量远程证据但你不知道这些证据在哪里。这正是动态稀疏 attention 的用武之地。RAG 可以在模型外部找证据但模型内部 attention 仍然需要在已放入上下文的材料中做细粒度选择。MSA 把这个选择变成可学习的内部路由。Rocky 认为长上下文 Agent 的未来很可能是三层结构层级作用代表机制外部检索层决定哪些文档/轨迹进入上下文RAG、memory、tool search上下文压缩层控制哪些内容以什么格式进入 promptsummary、state、context engineering内部注意力路由层在已进入上下文的 token 中分配注意力预算MSA 这类 learned sparse attention只有第三层做好超长上下文才不会变成“塞得进去但用不起、看不准”的营销窗口。12. 边界与风险MSA 不是长上下文问题的全部答案MSA 很强但不能被理解成长上下文的银弹。第一它仍然需要训练或继续预训练。MSA-CPT 提供了 dense checkpoint 转 sparse 的路径但不是零成本切换。要让 indexer 学会选择需要 warmup 和大量 token 预算。第二它对 kernel 工程依赖很强。论文在 H800 上做了 co-designed kernel但不同 GPU、不同 batch/sequence 分布、不同 serving stack 下收益可能变化。稀疏 attention 的产品化效果不能只看 FLOPs。第三它仍然可能在极端检索任务上丢信息。每个 query/GQA group 的预算是 2048 tokens如果真正需要的信息分散在更多远程位置或者 indexer 选择错误能力会受影响。第四它没有替代外部记忆和 RAG。MSA 解决的是“进入上下文后的内部 attention 路由”不是“哪些知识应该进入上下文”的问题。第五长上下文评测还不等于真实 Agent 评测。RULER、HELMET 很重要但真实软件工程/浏览器/企业工作流还包含工具调用、状态更新、错误恢复、权限边界等问题。所以更严谨的判断是MSA 是长上下文内部计算成本的关键解法之一但它需要和外部检索、上下文工程、Agent runtime、系统级缓存共同工作。13. Rocky 的判断长上下文竞争会从“窗口长度”转向“注意力预算调度”Rocky 认为MSA 代表了一个很明确的趋势未来长上下文模型的竞争不会只看谁的 context window 更长而会看谁能把有限注意力预算调度得更准、更快、更便宜。这和 AI 行业过去两年的变化一致。第一阶段厂商比参数规模。第二阶段厂商比 benchmark。第三阶段厂商比上下文长度。但真正进入 Agent 和企业生产环境后窗口长度本身会变成不充分指标。你能支持 1M token但如果 prefill 成本太高、decode 太慢、长程信息找不准用户感知不到稳定价值。MSA 这类工作把问题推进到更本质的位置让模型自己学习“哪些历史值得看”并让这种选择能被 GPU 高效执行。从工程角度看MSA 的长期价值主要在三点它适配 GQA 这种主流大模型结构迁移成本相对可控。它用 block 粒度换取 GPU 执行效率而不是追求不可部署的细粒度稀疏。它把训练稳定性、模型能力保持、kernel 加速放在同一个系统里验证。从产品角度看它降低了百万上下文从 demo 走向真实服务的门槛。从行业周期看它说明长上下文开始进入“系统工程阶段”不是谁先把窗口拉长谁赢而是谁能在成本、速度、质量之间找到可规模化的平衡。这也是为什么这篇论文值得认真读。它不是在讲一个 attention trick而是在讲大模型进入 Agent 时代后底层算力账怎么重新计算。术语与概念速查概念含义Rocky 解读MSAMiniMax Sparse Attention面向 GQA 的动态 blockwise sparse attentionIndex Branch轻量级索引分支负责为每个 query/GQA group 选择 top-k KV blocks本质是模型内部 learned retrieverMain Branch在选中 blocks 上执行精确 softmax attention保留 Transformer attention 的主要计算语义GQA group多个 query heads 共享一个 KV head 的组MSA 以 group 为单位共享 sparse index兼顾表达和效率blockwise selection按连续 KV block 而非 token 选择用粒度换 GPU 规则访问和 kernel 效率KL alignment loss用 Main Branch attention 分布监督 Index Branch给不可导 Top-k selector 提供训练信号gradient detach阻止 KL 梯度流回 backbone防止辅助损失污染主模型训练indexer warmup稀疏路由启用前先让 Index Branch 学会对齐降低早期随机选择造成的训练不稳定KV-outer sparse attention以 KV block 为外循环聚合 query提高 tensor-core 利用率减少稀疏导致的低效执行attention budget每个 query 实际能看多少 token长上下文时代的核心稀缺资源参考资源arXiv 论文https://arxiv.org/abs/2606.13392PDFhttps://arxiv.org/pdf/2606.13392GitHub kernelhttps://github.com/MiniMax-AI/MSAHugging Face 模型https://huggingface.co/MiniMaxAI/MiniMax-M3推荐阅读Rocky一直在运营技术交流群WeThinkIn-技术交流群这个群的初心主要聚焦于技术话题的讨论与学习包括但不限于算法、开发、竞赛、科研以及工作求职等。群里有很多人工智能行业的大牛欢迎大家入群一起学习交流请添加小助手微信Jarvis8866拉你进群1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识