英文维基百科全部文章大约 40 亿单词。GPT‑3 的训练数据约 5000 亿 tokens 英文里平均 1 个 token 约对应 0.75 个单词 5000 亿 tokens 折算后大约 3750 亿英文单词。而训练 GPT‑3 所用的数据量大约是它的 100 倍。GPT‑3 之所以具备强大语言能力关键在于它的预训练文本规模远远超过人类整理的维基百科海量数据是模型涌现能力的基础条件之一。核心观点展开解读数据量级差距直观感受人类花费漫长时间编撰整理的英文维基百科凝聚了无数人编纂成果只有 40 亿单词GPT‑3 训练文本折合英文单词达到 3750 亿体量高出近百倍。除此之外 GPT‑3 的训练素材还包含书籍、网页、论坛文章、新闻、小说、技术文档等海量互联网文本维基百科仅仅是它数据集里很小一部分。涌现能力和大数据的关系大模型里的涌现Emergent ability有一个重要现象很多能力逻辑推理、翻译、概括、常识、简单因果推导在模型规模、训练数据不足的时候几乎看不到当参数量和训练数据跨过一定阈值后模型突然具备这些能力。足够海量、多样化的文本让模型学习到人类语言里隐藏的语法习惯、常识知识、语境关联、事实信息、推理范式只有看过千亿级别的文本模型才能统计式地掌握词语之间深层关联仅依靠维基百科这种规模的数据GPT‑3 只能做到基础填空不可能完成写长文、复杂问答、逻辑论证。补充客观局限不能过度神化数据 ① 数据量大只是必要条件不是充分条件。除数据体量外GPT‑3 强大同样依赖1750 亿模型参数、Transformer 架构、高质量数据筛选、合理的上下文窗口、预训练‑微调范式。只堆砌文本但模型结构落后依然达不到对应效果 ② 海量互联网数据良莠不齐网页内容存在谣言、偏见、错误信息这也是大模型产生幻觉、输出片面看法的根源维基百科经过人工审核事实可靠性反而高于大部分网页文本 ③ 现在新一代大模型GPT‑4 等训练数据不再只是单纯扩充单词数量会更加注重高质量数据配比减少低质量冗余网页依靠更高质量素材进一步提升效率。精简版总结GPT‑3 的训练文本是英文维基百科近 100 倍庞大的数据储备为模型涌现出强大语言能力打下基础大数据配合超大参数与优秀模型架构共同造就了 GPT‑3 出色的语言表现但海量互联网脏数据也带来了幻觉等缺陷。