RAG 是这两年非常热门的方向把企业文档、课程资料、产品手册放进知识库让 AI 能基于资料回答问题。但很多新手一上来就卡在大模型 API、向量数据库、框架选择上。其实 RAG 的核心逻辑很简单切文档、做索引、检索相关片段、再生成回答。今天我们先不用复杂框架用 Python 做一个最小可运行版 RAG 项目。一、项目目标输入一批 Markdown 文档用户提问后系统返回最相关的文档片段。比如你问数据清洗时缺失值怎么处理系统能从你的文章库里找到“均值填充、中位数填充、插值法”相关内容。二、可视化总览RAG 的完整链路本地知识库 RAG 技术流程RAG 项目最容易讲散这张框架图可以帮助读者快速理解文档不是直接丢给模型而是先切块、向量化、检索再把相关片段交给模型回答。检索片段相似度示例这张图适合放在“测试检索效果”后面它展示了不同文档片段和用户问题的相似度能直观看出系统为什么选择某几个片段作为上下文。三、项目目录rag_demo/ docs/ article_01.md article_02.md rag_search.py四、第一步读取所有 Markdown 文档from pathlib import Pathdef load_docs(folder): docs [] for path in Path(folder).glob(*.md): text path.read_text(encodingutf-8) docs.append({ file: path.name, text: text }) return docsdocs load_docs(docs)print(文档数量, len(docs))五、第二步把长文切成小块RAG 不能直接把整篇文章都塞进去要先切块。def chunk_text(text, chunk_size400, overlap80): chunks [] start 0 while start len(text): end start chunk_size chunks.append(text[start:end]) start end - overlap return chunksall_chunks []for doc in docs: chunks chunk_text(doc[text]) for i, chunk in enumerate(chunks): all_chunks.append({ file: doc[file], chunk_id: i, content: chunk })print(切块数量, len(all_chunks))overlap的作用是保留上下文避免答案刚好被切断。六、第三步用 TF-IDF 做一个轻量检索器正式项目常用 embedding 向量模型。为了先跑通逻辑这里用 sklearn 的 TF-IDF。from sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics.pairwise import cosine_similaritytexts [item[content] for item in all_chunks]vectorizer TfidfVectorizer( token_patternr(?u)\b\w\b, max_features5000)matrix vectorizer.fit_transform(texts)def search(query, top_k3): query_vec vectorizer.transform([query]) scores cosine_similarity(query_vec, matrix)[0] top_idx scores.argsort()[::-1][:top_k] results [] for idx in top_idx: results.append({ score: scores[idx], file: all_chunks[idx][file], content: all_chunks[idx][content] }) return results七、第四步测试检索效果query 缺失值应该怎么处理results search(query)for r in results: print( * 50) print(相似度, round(r[score], 4)) print(来源, r[file]) print(r[content][:300])如果最相关的片段排在前面说明检索系统已经能工作。八、第五步拼成 RAG 提示词真正接入大模型时可以把检索结果拼成提示词。def build_prompt(query, results): context \n\n.join([ f来源{r[file]}\n内容{r[content]} for r in results ]) prompt f请根据以下资料回答问题。如果资料中没有答案请说“资料中没有找到明确答案”。资料{context}问题{query} return promptprompt build_prompt(query, results)print(prompt)这一步就是 RAG 的关键让模型基于检索到的资料回答而不是凭空发挥。九、项目升级路线阶段技术选择入门版TF-IDF 余弦相似度进阶版embedding 模型 FAISS产品版向量数据库 权限控制企业版文档增量更新 答案引用来源评估版问答集 命中率 幻觉率十、避坑指南坑解决方案文档切块太大检索不精准文档切块太小上下文不足不返回来源用户不信任答案只看生成效果先评估检索命中率资料没答案还硬答提示词里明确要求不知道就说不知道说真的这两年看着身边一个个搞Java、C、前端、数据、架构的开始卷大模型挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis稳稳当当过日子。结果GPT、DeepSeek火了之后整条线上的人都开始有点慌了大家都在想“我是不是要学大模型不然这饭碗还能保多久”我先给出最直接的答案一定要把现有的技术和大模型结合起来而不是抛弃你们现有技术掌握AI能力的Java工程师比纯Java岗要吃香的多。即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇这绝非空谈。数据说话2025年的最后一个月脉脉高聘发布了《2025年度人才迁徙报告》披露了2025年前10个月的招聘市场现状。AI领域的人才需求呈现出极为迫切的“井喷”态势2025年前10个月新发AI岗位量同比增长543%9月单月同比增幅超11倍。同时在薪资方面AI领域也显著领先。其中月薪排名前20的高薪岗位平均月薪均超过6万元而这些席位大部分被AI研发岗占据。与此相对应市场为AI人才支付了显著的溢价算法工程师中专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%产品经理岗位中AI方向的产品经理薪资也领先约20%。当你意识到“技术AI”是个人突围的最佳路径时整个就业市场的数据也印证了同一个事实AI大模型正成为高薪机会的最大源头。最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】