你可能会问我只是想用 AI为什么要懂它怎么工作道理很简单如果你知道 AI 的能力从何而来你就能更好地使用它。你会知道什么时候该信它什么时候该质疑它。你会知道它擅长什么不擅长什么。你会知道幻觉从何而来以及如何减少它的影响。神经网络的直觉理解现代 AI 的核心是神经网络这个名字来自于人脑的神经元结构。大脑神经元的类比人脑里有大约 860 亿个神经元它们互相连接传递信号每个神经元接收来自其他神经元的输入经过处理再输出给其他神经元学习的过程就是调整这些连接强度的过程。人工神经网络借鉴了这个思路但做了极大的简化。三层基本结构一个典型的神经网络分为三层输入层、隐藏层、输出层。我们用识别一张图片是猫还是狗作为例子层级作用在这个例子中输入层接收原始数据图片的每个像素、颜色信息隐藏层逐层提取特征边缘 → 纹理 → 耳朵、眼睛等器官输出层给出最终结果是猫的概率 85%、是狗的概率 15%每层有很多神经元每个神经元接收上一层的输出做一点简单计算再传给下一层。第一层可能识别这有一条竖线、这有个圆形。第二层把这些组合起来竖线加圆形可能是一只耳朵。第三层继续组合两只尖耳朵、胡须、猫眼这很可能是一只猫。神奇之处在于这些特征不是人设计的是模型自己从数据中学到的。一个最简单的神经元让我们用几行 Python 代码展示一个神经元在做什么实例# # 一个人工神经元的基本计算逻辑# 没有复杂数学只有加权求和 激活# def simple_neuron(inputs: list, weights: list, bias: float) - float:一个最简单的神经元inputs: 输入值来自上一层神经元weights: 权重每个输入的重要程度训练中学习得到bias: 偏置阈值训练中学习得到# 第一步加权求和# 每个输入乘以对应的权重再加起来weighted_sum 0.0for input_value, weight in zip(inputs, weights):weighted_sum input_value * weight# 加上偏置weighted_sum bias# 第二步激活函数让输出非线性# 这里用最简单的 ReLU负数变 0正数不变output max(0.0, weighted_sum)return output# 模拟判断这是不是猫的耳朵的一个神经元# 输入[尖的程度, 位置高度, 有没有毛]inputs [0.8, 0.9, 0.7] # 这三个特征都比较明显# 权重训练后学到的在 runoob 示例中我们假设这些值已学好weights [0.5, 0.4, 0.3]# 偏置阈值bias -0.6result simple_neuron(inputs, weights, bias)print(f神经元输出{result:.3f})print(f判断{可能是猫耳朵 if result 0 else 不太像})# 输出神经元输出0.660# 输出判断可能是猫耳朵这个神经元做的事情很简单把输入加权求和过一个激活函数输出结果。但当成千上万个这样的神经元连在一起每层学习不同的特征整体就会产生惊人的智能。记住这个直觉神经网络 很多简单计算单元连接在一起通过调整连接权重来学习。训练 vs 推理两个不同阶段AI 的生命周期分为两个完全不同的阶段训练和推理。理解这两个阶段的区别能帮你理解很多事情——比如为什么训练那么贵推理相对便宜。训练让 AI 学习训练是这样一个过程给模型看大量数据让它不断调整参数预测得越来越准。比如训练一个识别猫狗的模型1. 准备几百万张已标注的图片这张是猫那张是狗2. 让模型猜这是什么一开始它会猜错很多3. 告诉它猜错了应该是猫让它调整一下网络里的权重4. 重复几百万次直到模型预测得越来越准训练阶段需要巨大的算力和数据。一个大模型可能需要几千张 GPU 训练几个月花费几百万美元。推理让 AI 使用推理是这样一个过程用训练好的模型给新输入得到输出。你给 ChatGPT 发一条消息它回复你——这就是推理。你用手机拍照识别植物——这也是推理。推理的特点是不需要调整参数只用训练好的权重做计算。通常只需要一张 GPU 甚至手机芯片就能做。成本比训练低得多。两者的对比维度训练推理目标学习知识调整权重应用已学知识给出答案数据量需要海量数据单次输入即可算力需求极高几千张 GPU较低单张 GPU 或手机成本极高百万美元级较低每次几分钱频率几次或几十次每秒数百万次谁来做OpenAI、Anthropic 等公司普通用户或应用打个比方训练就像寒窗苦读十年书推理就像上考场做题。读书需要很多时间和精力但一旦学会了做题就快了。当你使用 ChatGPT 时你在做推理——模型不会因为你的对话而学习或变聪明。它的知识截止于训练完成的那一刻。Transformer 架构简介2017 年Google 发表了一篇论文《Attention Is All You Need》提出了 Transformer 架构。这篇论文改变了整个 AI 领域。今天的大语言模型几乎都是基于 Transformer 的。为什么 Transformer 如此重要在 Transformer 之前处理序列数据比如句子用的是 RNN 或 LSTM。它们的问题是只能一个字一个字地处理很难捕捉长距离的关联。比如这句话我把钱包落在了北京的咖啡馆里第二天回去找____ 还在。——横线处填它你知道它指钱包因为你记住了前面的内容。旧模型处理还在时可能已经忘了钱包的存在。Transformer 的突破在于它能同时看到整个句子并且通过注意力机制知道该关注哪些词。Encoder 和 Decoder一个完整的 Transformer 分为两部分组件作用典型应用场景Encoder编码器理解输入把文字变成向量表示文本分类、情感分析、语义搜索Decoder解码器根据理解生成输出文本写作、翻译、对话生成有些模型只用 Encoder比如 BERT有些只用 Decoder比如 GPT有些两者都用比如 T5。GPT 系列、Claude、Llama 都是仅 Decoder的架构——它们的强项是生成流畅的文本。注意力机制是什么注意力是 Transformer 的核心也是它能处理长文本的关键。类比人阅读时的注意力你读一句话时不是每个字都花同样的精力。比如它有一条长长的尾巴和三角形的耳朵——当你看到它时你会重点关注尾巴和耳朵来判断是什么动物。注意力机制做的就是这件事根据当前处理的位置动态决定应该关注输入中的哪些词。动画演示大模型正在思考…↻每一步只做一件事根据前文猜下一个字人工智能▌下一个字的候选Top-5 概率能最可能62.9%一候选 214.9%有候选 312.7%下候选 46.7%们候选 52.8%step16已选能注意力是如何计算的简单说每个词会生成三个向量Query查询我在找什么信息Key键我包含什么信息Value值我的实际内容是什么计算每个位置的 Query 和所有位置的 Key 的相似度得到注意力权重然后用这些权重对 Value 加权求和就得到了这个位置的输出。不需要记住细节只要记住这个直觉注意力 给句子中的每个词分配一个权重表示它对当前位置的重要性。为什么注意力如此重要注意力带来了几个关键优势第一能捕捉长距离依赖。不管两个词隔多远只要它们相关注意力就能连起来。第二可并行计算。不用像 RNN 那样一个字一个字地处理可以同时处理整个句子。第三一定的可解释性。你可以看注意力权重知道模型在看什么。比如翻译它有一条长长的尾巴时你可以看到模型翻译它时注意力主要放在尾巴上。预训练与微调今天的大模型通常采用两阶段训练预训练 微调。预训练在海量数据上学习通识预训练是这样的找互联网上的大量文本维基百科、书籍、网页、代码等让模型做一件事——预测下一个词。你输入今天天气真让它猜下一个词是什么。你输入1 1 让它猜下一个词是什么。这个过程没有特定任务就是让模型广泛学习语言、知识、逻辑、代码等。预训练是最花钱的部分数据多、算力大、时间长。微调针对特定任务优化预训练后的模型虽然很博学但不一定听话。你问它问题它可能继续说个不停而不是直接回答。你让它写代码它可能写了一半开始写别的。微调就是用高质量的对话数据进一步训练模型让它学会理解指令按要求输出保持对话风格拒绝有害请求输出更安全、更有用的内容微调的数据量比预训练小得多但质量要求更高。用一个类比理解预训练就像读书万卷——从小学到大学广泛学习各种知识。微调就像职业培训——毕业后去公司上班学习怎么和同事沟通、怎么写邮件、怎么完成工作任务。预训练让模型有知识微调让模型好用。这也是为什么同样是大模型有些聪明但难用有些一般但好用——区别往往在微调。AI 为什么会幻觉幻觉Hallucination是 AI 最著名的问题之一它会一本正经地编造不存在的事实、人名、论文、数据。从概率预测的角度理解要理解幻觉先回到 AI 最本质的工作方式它不是在查证事实而是在预测下一个最可能出现的词。你问谁发明了电话——它知道亚历山大·格雷厄姆·贝尔这个序列最可能出现。但你问谁发明了 runoob 教程——训练数据里可能没有这个信息但它会根据统计规律编造一个听起来合理的名字。它不知道自己不知道——它只知道在这个位置这几个词出现的概率最高。幻觉产生的常见原因原因解释例子训练数据不足这个话题在训练数据里很少模型没学好问一个非常小众的专业问题知识截止训练数据截止后发生的事模型不知道问2025 年发生了什么假设模型是 2024 年训练的混淆来源把多个来源的信息混在一起拼错了张三写了论文 A其实是李四写的但张三和李四常一起出现过拟合训练时记住了噪声当成了事实编造不存在的引用如何减少幻觉的影响作为用户你可以这样做第一关键信息要核实。涉及医疗、法律、投资、新闻事实等一定要去查证。第二让模型提供来源。问它这个信息的出处是什么、你能给我引用来源吗第三用检索增强生成RAG。把自己的文档喂给模型让它基于这些文档回答而不是瞎编。第四用多个模型交叉验证。同一个问题问几个模型如果它们说的都一样可信度更高。记住AI 说的话听起来再像真的也可能是编的。对高风险决策永远保持怀疑。