我将结合自己在大模型领域的经验给大家详细聊聊新人应该如何转行大模型赛道比如大模型都有哪些方向各方向的能力要求和岗位匹配新手转行大模型常踩的坑和常见的误区以及入行大模型最顺滑的路径如果你是正打算入行大模型的校招/社招同学请一定看完可能会让你在入行大模型的路上少走很多弯路。一、大模型都有哪些方向如果你在求职网站搜索大模型关键词看一下招聘 JD基本可以了解现在业内对大模型工程师的需求方向和能力要求.。总结一下大致可以分为 4 类做数据的大模型数据工程师爬虫/清洗/ETL/Data Engine/Pipeline做平台的大模型平台工程师分布式训练/大模型集群/工程基建做应用的大模型算法工程师搜/广/推/对话机器人/AIGC做部署的大模型部署工程师推理加速/跨平台/端智能/嵌入式二、大部分新手的误区如果是你看到这几个方向会怎么选我估计很多人都直奔第三点去了坚定的要做应用走在所有工种的最前沿做出让老板用户都看得到的核心产品。不过这里我不禁要给各位泼一点冷水在 AI 算法这个行业三是很吃业务经验的如果你之前本身就是做算法的比如是做 NLP又或者是做语音助手对话机器人这类的再顺水推舟做相关方向的大模型算法工程师这是比较合适的。在自身业务里融入一些大模型的算法和技法拿到实际的业务产出去市面上也比较好找这类岗位。但如果你是 CS 方向的实习生/应届毕业生或者其他 IT 方向转行大模型3 未必是一个最好的选择大家不要带着一个误区大模型算法工程师就是调模型调超参做一做预训练做一做 finetuneSFT 之类的活。实际上呢这部分工作只有很少人做基本一个 team 中只有个位数的人或者只是算法工作的很小的一部分。注意一点新人进去 90% 以上都不可能直接让你干算法模型调优的活大部分可能还是让你配环境搭链路清洗数据分析数据调研写一写 functiontools。这些体力活都干熟了以后可能才会让你跑一些模型实验。其中比较出色的脑子比较灵活的同学才会慢慢让他们开始接触线上业务。也有很多同学干了好几年还是在干一些边角料脏活杂活根本接触不到核心业务。对于刚入行的新人如果你学历背景好点可以去大公司做 intern 然后转正背景差一点可以去中小公司积累业务经验。三、数据很重要然后很多人可能往往忽视了上面的 124觉得我学了这么多算法知识学了机器学习深度学习还了解大模型再去做数据有点屈才了。但我想告诉你的是1 是更多转行大模型同学更容易上岸的方式。条条大路通罗马不是只有一条路走到黑。首先目前国外的大模型技术至少领先国内两年虽然国内已经有几十上百个“大模型”了但真正能打的并没有几个。探究原因还是有很多技术没有突破。算法本身来说GPT 已经不是什么秘密了。那剩下还有什么呢一是数据二是工程技巧。拿数据来说先说通用的大模型训练数据的来源从哪里采数据的质量怎么把控如何过滤有毒信息语言的筛选与比例数据的去重以及数据的规范化处理评测集的构建。这些既是体力活又是技术活。对于垂直领域比如金融电商法律车企这种领域数据的构建就更考验技术了业务数据怎么来数据不够怎么办完全没有数据怎么办如果构建高质量的微调数据能把这些问题解决好模型也就成功了一大半。因此就目前的现状对于数据工程师特别是有经验的数据工程师是非常稀缺的。四、大模型平台干些啥然后说下 2大模型平台工程师。如果你之前是做工程的或者对工程比较感兴趣我比较建议你选 2。这二者其实并没有本质的区别都是为了大模型业务服务的也叫大模型基础设施的建设作用就是让大模型 train 得更好大模型跑得更快。这块主要是干些啥呢从计算层面来说有分布式计算并行计算高性能计算有些公司对这三者也不加区分。从硬件层面来说有搞大模型训练集群GPU 集群CPU/GPU 混部集群池子里要管理几百上千张卡还要负责他们的利用率机器的健康状况有没有挂的中小公司这块基本都是开发和运维一体的一个工作干两个工种的活。从平台层面来说有做 LLMOps 的也就是 pipeline。集数据 IO模型训练预测上线监控于一体这种就是跟着业务团队走做适配造很多高效的轮子方面业务团队使用减少他们额外重复开发的时间。这块整体上来说在大模型时代稳中有升因为实际上很多公司这方面的人都是从之前搞深度学习平台大规模机器学习平台的人招过来的技术上的 gap 相对比较小。因此对于 AI 工程感兴趣的可以选这个方向。五、大模型部署干些啥最后说一下 4大模型部署工程师。这个岗位之前也有不过在大模型这一两年尤其的火热。什么原因呢因为部署大模型太费钱了。首先模型延迟本身就高30B 以上的模型对算力显存要求很高。老板关心什么一方面是大模型产品也就是业务指标要好看方便 PR。另一方面也要求控制成本(大厂/独角兽除外)。一般企业里面一个 P8 级别的 leader要在公司里面抢业务拉资源找人力本身就是一个不容易的事。“降本增效”是 23 年以来几乎所有公司的一个主旋律。所以老板们很关心你节约了多少钱比如你把推理效率提高一倍那就实实在在降低了一倍的成本。回到大模型部署工程师来这个岗位总体有两个方向的工作云端部署和端侧部署。云端比较好理解可以做推理加速平台也可以随着业务走做大模型定制化加速。比如 Qwen-7b 的加速还可以做大模型推理引擎比如搜索/问答的推理引擎一般是在高并发用户场景下在保证用户 SLO 的前提下最优化 latency 和 throughput。另一个大方向是端侧的部署。也就是在消费级 GPU/NPU 以及边端设备下部署大模型同时让领域大模型小型化让业务能实际工程落地。总的来说大模型部署工程师对工程能力系统能力以及硬件等方面都要有一定的了解现在各种推理框架出来以后降低了一点难度但仍然是一个比较有竞争力的工种。你得了解计算图和 OP 的优化得了解各种推理框架缓存/显存优化还有 LLM 结构运行时的系统架构。这个岗位一般不推荐新人入场因为太吃经验了。建议先从 2 进场然后逐步转到 4。给准备入场大模型的新人几点建议不要只关心 finetuneSFTRLHF作为系统性学习是 OK 的切忌花太多精力。想做应用的建议 focus 到某个垂直领域比如对话机器人问答系统金融/医疗/教育方向找一个具体的场景把它做好做深。多关心数据data pipeline高质量训练/测试集的构建经验对数据的sense是最直接也是最适合用到未来工作当中的。大模型不只有算法也可以有工程。大公司拼的都是基建平台是对业务的支撑牛逼的 infrastrure 是大模型产品成功不可或缺的因素。​最后如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。