T5Text-to-Text Transfer Transformer模型将所有 NLP 任务统一为文本到文本格式是预训练语言模型发展史上的一个重要里程碑。其核心意义可以从以下几个维度理解1. 统一的框架一个模型、一个目标、一套流程在 T5 之前不同 NLP 任务通常需要不同的模型架构和训练流程分类任务情感分析编码器 分类头序列标注NER编码器 CRF/分类头生成任务翻译、摘要编码器-解码器结构问答任务各有各的输出格式T5 的核心思想是把所有任务的输入和输出都统一为文本字符串。例如任务翻译 输入: translate English to German: That is good. 输出: Das ist gut. 任务情感分类 输入: sst2 sentence: it s a charming and often affecting journey . 输出: positive 任务摘要 输入: summarize: [长文本...] 输出: [摘要文本] 任务QA 输入: question: ... context: ... 输出: [答案文本]意义不再需要为每个任务设计专门的输出层或损失函数同一个编码器-解码器模型 同一个交叉熵损失函数即可处理所有任务。2. 与 BERT/GPT 的根本区别维度BERTGPTT5架构仅编码器仅解码器编码器-解码器预训练目标MLM掩码语言模型CLM因果语言模型Span Corruption片段替换任务适配需要任务特定头需要任务特定头天然统一无需额外头任务类型擅长理解擅长生成理解生成统一BERT 和 GPT 虽然都是通用预训练模型但在下游使用时仍需添加任务特定的网络层分类头、序列标注头等微调方式因任务而异。T5 彻底消除了这种差异——微调时模型结构完全不变只是输入文本的前缀不同。3. 深层意义1简化了 NLP 工程流程不再需要为每个任务设计不同的模型架构、损失函数和数据处理管线同一套训练代码、同一套推理代码适用于所有任务大幅降低了多任务系统的工程复杂度2为多任务学习和迁移学习提供天然基础所有任务共享完全相同的输入-输出空间文本→文本可以轻松地进行多任务混合训练不同任务只需用不同的前缀区分任务之间的知识迁移更加自然3预训练与微调的一致性BERT 存在预训练-微调不一致问题预训练时做掩码预测微调时却做分类。T5 的预训练目标Span Corruption和微调目标文本生成都是编码器-解码器的文本到文本生成预训练和微调阶段的行为高度一致。4为后续大模型奠定了范式基础T5 的文本到文本统一范式深刻影响了后续模型的发展T0、FLAN等指令微调模型沿用了这一思路用自然语言指令描述任务GPT-3/4 等大语言模型本质上也是用文本输入描述任务、用文本输出给出结果现代Prompt Engineering和Instruction Tuning的思想根源可以追溯到 T5 的统一框架可以说T5 是从为每个任务定制模型走向用一个通用模型处理所有任务这一现代大模型范式的关键过渡点。4. 一句话总结T5 的意义在于它证明了一个统一的编码器-解码器模型仅通过文本前缀区分任务就能在几乎所有 NLP 任务上达到与专门设计的模型相当甚至更优的性能从而在工程简化、多任务统一、预训练-微调一致性三个层面推动了 NLP 范式的演进并为后来大语言模型的指令驱动范式铺平了道路。
