1. 项目概述从“黑盒”到“白盒”的架构认知之旅在机器学习和深度学习领域尤其是处理序列到序列Sequence-to-Sequence, Seq2Seq任务时比如机器翻译、文本摘要、语音识别我们经常会听到“编码器-解码器”Encoder-Decoder这个架构。很多初学者甚至一些已经用过相关模型如Transformer、LSTM的朋友可能只是把它当作一个现成的“黑盒”来调用知道输入一段序列它能输出另一段序列。但如果你真的想深入理解模型内部的信息流动、瓶颈所在以及如何针对自己的任务进行定制化改造那么把这个“黑盒”拆解成“白盒”彻底搞懂编码器和解码器各自在做什么、如何协作就变得至关重要。“01a-编码器解码器架构详解”这个标题直指核心。它不是一个简单的API使用教程而是一次对架构本质的深度剖析。我将结合自己过去在自然语言处理NLP和时序预测项目中反复折腾的经验带你从最经典的RNN时代开始一路看到如今大行其道的Transformer不仅讲清楚“是什么”和“怎么做”更重点拆解“为什么”要这么设计以及在实操中会遇到哪些“坑”。无论你是刚入门的新手还是希望巩固基础、寻求优化灵感的从业者这篇文章都将为你提供一个清晰、透彻且可直接用于实践的认知框架。2. 架构核心思想与演进脉络2.1 核心思想信息压缩与条件生成编码器-解码器架构的核心思想非常直观可以用一个“翻译官”的类比来理解。想象你要把一句中文翻译成英文但你不懂英文。你需要先找一位懂中文的助手编码器让他把中文句子的核心意思语义信息提炼、压缩成一个内部的“意思摘要”上下文向量Context Vector。然后你再把这份“意思摘要”交给一位懂英文的助手解码器让他根据这个摘要用地道的英文重新表达出来。这个架构解决了什么问题在Seq2Seq任务中输入和输出的序列长度通常是可变且不对等的。传统的固定尺寸输入输出模型如全连接网络无法处理这种问题。编码器-解码器通过一个中间态的“上下文向量”作为桥梁让模型具备了处理变长序列并生成新序列的能力。为什么是“压缩”因为原始输入序列可能很长包含大量细节甚至噪声。编码器的任务就是学习如何过滤掉不重要的信息提取出最精华的、对生成目标序列最有用的语义表示。这个压缩过程本质上就是学习输入数据的分布式表示Distributed Representation。为什么是“条件生成”解码器不是凭空创造输出它每一步的生成都严格依赖于两个条件一是编码器提供的“上下文向量”代表了整个输入序列的信息二是它自己已经生成的部分输出自回归特性。这使得生成过程是连贯的、与输入高度相关的。2.2 演进脉络从RNN到Attention再到Transformer这个架构并非一成不变它的演进史就是深度学习处理序列问题的一部浓缩史。RNN时代奠基期最初编码器和解码器都由循环神经网络RNN或其变体如LSTM、GRU实现。输入序列按时间步依次输入编码器RNN最后一个时间步的隐藏状态就被当作是整个序列的“上下文向量”。然后解码器RNN以这个上下文向量为初始状态开始逐步生成输出。这里的核心问题在于无论输入序列多长信息都被压缩到一个固定长度的向量中。这就像试图把一本小说的全部情节塞进一句话里必然导致信息丢失尤其是对长序列模型性能会急剧下降。这就是所谓的“信息瓶颈”Information Bottleneck问题。Attention机制引入革命期为了解决信息瓶颈注意力Attention机制被引入。它不再强迫编码器将所有信息压缩进最后一个隐藏状态而是让编码器输出所有时间步的隐藏状态序列。解码器在生成每一个输出词时都可以“回顾”编码器的所有隐藏状态并动态地决定当前应该更“关注”输入序列的哪些部分。这相当于翻译官在写每一个英文单词时都可以回头去查阅中文原句的任何一个词而不是只靠一份简陋的摘要。Attention机制极大地提升了模型对长序列的处理能力特别是对齐Alignment能力成为现代Seq2Seq模型的标配。Transformer时代统治期Transformer模型完全摒弃了RNN的循环结构完全基于自注意力Self-Attention机制和前馈网络来构建编码器和解码器。它的编码器由多层相同的层堆叠而成每层都包含多头自注意力子层和前馈网络子层解码器也类似但增加了额外的“编码器-解码器注意力”层即传统的Attention机制用于关注编码器的输出。Transformer的并行计算能力更强对长程依赖的建模更直接成为了当今大语言模型LLM的基石。此时编码器-解码器架构的思想依然存在但实现形式已经发生了根本性变化。注意理解这个演进脉络能帮助你在面对不同论文和模型时快速抓住其创新点。例如当看到某个模型声称解决了长序列依赖你立刻可以想到它很可能是在Attention机制或位置编码上做了改进。3. 核心组件深度拆解编码器在做什么编码器的使命是将变长的输入序列映射为一个包含丰富语义信息的表示。我们以最经典的基于RNNAttention的编码器为例进行拆解。3.1 输入表示与嵌入层原始输入如文本首先是符号序列。第一步是通过嵌入层Embedding Layer将其转换为密集向量序列。假设输入序列是[我 爱 深度学习]每个词会被映射为一个固定维度的向量如[512]维。这里的关键细节嵌入层的权重通常是随机初始化并在训练中学习的。好的词向量能捕获语义相似性如“国王”和“王后”的向量在空间中接近。在实际操作中我们经常会使用预训练的词向量如Word2Vec, GloVe来初始化嵌入层这能显著加速模型收敛并提升效果尤其是在训练数据不足时。# 一个简化的PyTorch示例 import torch.nn as nn vocab_size 10000 # 词表大小 embedding_dim 512 # 词向量维度 embedding_layer nn.Embedding(vocab_size, embedding_dim) # input_ids 是形状为 [batch_size, sequence_length] 的词索引张量 embedded_input embedding_layer(input_ids) # 输出形状: [batch_size, sequence_length, embedding_dim]3.2 序列编码RNN/LSTM/GRU的工作原理得到词向量序列后它们被送入循环层。以LSTM为例它按时间步处理序列。对于第t个词向量x_tLSTM单元会结合当前输入x_t和上一个隐藏状态h_{t-1}、细胞状态c_{t-1}计算新的隐藏状态h_t和细胞状态c_t。核心在于隐藏状态h_t被认为包含了到第t步为止的序列信息。经过所有时间步后我们得到了一系列的隐藏状态[h_1, h_2, ..., h_T]其中T是输入序列长度。在基础的Seq2Seq中最后一个隐藏状态h_T被用作上下文向量。但在引入Attention后所有隐藏状态[h_1, h_2, ..., h_T]都会被保留作为解码器可以随时查阅的“记忆库”。实操心得使用双向RNNBi-RNN是提升编码器效果的常见技巧。它会同时从前向后和从后向前处理序列得到两个方向的隐藏状态然后将它们拼接起来。这样每个位置的隐藏状态都包含了该位置前后文的信息对于理解上下文至关重要。在PyTorch中设置nn.LSTM(..., bidirectionalTrue)即可轻松实现。3.3 输出编码器的最终产物对于带Attention的编码器其输出就是所有时间步的隐藏状态序列我们通常称之为“编码器输出”或“记忆”。假设隐藏状态维度是hidden_dim批大小是batch_size序列长度是src_len那么编码器输出的形状就是[batch_size, src_len, hidden_dim]对于双向RNNhidden_dim通常是单向时的两倍。这个三维张量就是解码器进行条件生成所依赖的、关于输入序列的全部知识。4. 核心组件深度拆解解码器在做什么解码器的任务更复杂它要以自回归的方式利用编码器提供的信息逐步生成目标序列。4.1 自回归生成与启动解码器生成过程是自回归的即当前时刻的输入是上一时刻的生成结果在训练时为了稳定常使用“教师强制”即使用真实的上一个词。那么第一步如何启动通常我们会向解码器输入一个特殊的开始符号sos(start of sequence) 的嵌入向量。同时编码器产生的上下文信息在基础模型中就是最后一个隐藏状态在Attention模型中则是所有隐藏状态被用来初始化解码器的初始状态。这样解码器在生成第一个词时就已经“知晓”了输入序列的全局信息。4.2 Attention机制动态信息检索这是解码器最核心的环节。在生成第i个目标词时解码器当前时刻的隐藏状态s_i会作为一个“查询”Query去“查询”编码器输出的所有隐藏状态“键”Key和“值”Value。计算注意力分数计算s_i与每一个编码器隐藏状态h_j的相关性分数。常用方法有点积、加性网络等。score_ij v^T * tanh(W1 * s_i W2 * h_j) # 加性Attention示例计算注意力权重对所有分数进行softmax归一化得到权重分布alpha_ij。这个分布直观反映了在生成当前目标词时模型对输入序列各个部分的关注程度。alpha_ij softmax(score_ij)计算上下文向量将权重alpha_ij与对应的编码器隐藏状态h_j加权求和得到当前时刻专属的上下文向量c_i。c_i sum_over_j(alpha_ij * h_j)这个c_i不再是固定的而是随着解码步动态变化的它包含了当前生成步骤最需要的输入信息。为什么Attention如此有效它解决了固定长度上下文向量的信息瓶颈问题并提供了可解释的对齐视图。在机器翻译中你常常能看到生成某个英文单词时其注意力权重高度集中在对应的中文词上。4.3 生成预测与输出得到当前时刻的上下文向量c_i后解码器会将其与当前解码器隐藏状态s_i以及上一时刻的输出嵌入向量y_{i-1}或sos进行拼接或融合。combined_input [s_i; c_i; emb(y_{i-1})] # 拼接操作示例这个融合后的向量经过一个或多个前馈网络层最终投影到目标词表大小的维度上再通过softmax函数得到下一个词在整个词表上的概率分布。output_probs softmax(W * combined_input b)模型选择概率最高的词作为当前输出推理时或者用这个分布来计算损失训练时通常使用交叉熵损失。4.4 训练与推理的差异这是实操中一个巨大的“坑”。训练Teacher Forcing为了加速收敛和稳定训练解码器在每一步的输入是真实目标序列的前一个词即“教师”给出的正确答案。这避免了错误累积。推理Autoregressive没有真实目标序列可用。解码器从sos开始每一步都将自己的预测输出作为下一步的输入直到生成eos(end of sequence) 符号或达到最大长度。注意事项长期使用Teacher Forcing可能导致模型在推理时表现不佳因为它在训练时从未处理过自己生成的错误。一种缓解策略是采用计划采样Scheduled Sampling在训练中逐步引入模型自身的预测作为输入。5. Transformer架构下的编码器与解码器Transformer彻底改变了游戏规则。它不再需要按序处理而是并行计算整个序列。5.1 Transformer编码器层详解一个Transformer编码器层主要包含两个子层多头自注意力层Multi-Head Self-Attention让序列中的每个词都与其他所有词进行注意力交互捕获序列内部的依赖关系。所谓“多头”就是将注意力机制并行执行多次例如8次每次关注不同的“表示子空间”最后将结果拼接起来。这增强了模型在不同位置和不同语义层次上关注信息的能力。前馈网络层Position-wise Feed-Forward Network这是一个应用于每个位置上的独立、相同的前馈网络通常是两层线性变换加一个ReLU激活。它用于对自注意力层的输出进行非线性变换和特征整合。每个子层后面都跟着一个残差连接和层归一化。即LayerOutput LayerNorm(x Sublayer(x))。残差连接缓解了深层网络的梯度消失问题层归一化稳定了训练过程。位置编码Positional Encoding由于Transformer没有循环结构它无法感知词序。因此需要显式地向输入嵌入中添加位置信息。常用的是正弦余弦函数编码它能处理比训练时更长的序列并让模型学到相对位置关系。5.2 Transformer解码器层详解Transformer解码器层比编码器层多了一个子层掩码多头自注意力层Masked Multi-Head Self-Attention同样是自注意力但为了防止解码器在生成第i个词时“偷看”到未来的词i1, i2, ...需要在注意力计算中应用一个掩码Mask将未来位置的信息屏蔽掉设置为负无穷大使得softmax后权重为0。这保证了自回归特性。多头注意力层Multi-Head Attention这就是传统的编码器-解码器注意力。它的Query来自解码器上一层的输出而Key和Value来自编码器最后的输出。解码器通过这一层来获取输入序列的信息。前馈网络层与编码器中的相同。解码器同样使用残差连接和层归一化。解码器的初始输入是目标序列的嵌入训练时是右移的真实序列推理时是自回归生成的并加上位置编码。5.3 Transformer的工作流程编码器接收源序列经过N层如6层编码器层处理输出最终的上下文表示。 解码器接收目标序列掩码后首先通过掩码自注意力层处理目标序列自身的依赖然后通过编码器-解码器注意力层与编码器输出交互最后经过前馈网络。这个过程也重复N层。最后一层解码器输出的每个位置向量通过一个线性层和softmax映射到目标词表上得到预测概率。实操心得Transformer的训练非常依赖超参数如学习率、预热步数Warm-up Steps、丢弃率Dropout等。使用Adam优化器并配合学习率预热通常是标准做法。此外由于模型参数量大梯度裁剪Gradient Clipping也是防止训练不稳定的常用技巧。6. 实战构建与关键代码解析理论说再多不如动手写一遍。这里我们以PyTorch为例勾勒一个带Attention的RNN Seq2Seq模型的关键部分。6.1 定义编码器import torch import torch.nn as nn import torch.nn.functional as F class EncoderRNN(nn.Module): def __init__(self, input_size, hidden_size, dropout_p0.1): super(EncoderRNN, self).__init__() self.hidden_size hidden_size self.embedding nn.Embedding(input_size, hidden_size) # 使用GRU你也可以换成LSTM self.gru nn.GRU(hidden_size, hidden_size, batch_firstTrue, bidirectionalTrue) self.dropout nn.Dropout(dropout_p) # 双向GRU输出维度是 hidden_size*2我们通过一个全连接层将其映射回 hidden_size self.fc nn.Linear(hidden_size * 2, hidden_size) def forward(self, input): # input shape: [batch_size, src_len] embedded self.dropout(self.embedding(input)) # [batch_size, src_len, hidden_size] # GRU输出: outputs [batch_size, src_len, hidden_size*2], hidden [2, batch_size, hidden_size] outputs, hidden self.gru(embedded) # 将双向的最后一个隐藏状态拼接并映射 hidden torch.tanh(self.fc(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim1))) # [batch_size, hidden_size] # outputs 作为编码器所有时间步的输出用于Attention return outputs, hidden关键点我们使用了双向GRU并对其最终隐藏状态进行了处理和降维得到一个作为解码器初始状态的hidden。outputs保留了所有时间步的信息。6.2 定义Attention模块class Attention(nn.Module): def __init__(self, hidden_size): super(Attention, self).__init__() # 加性注意力 self.attn nn.Linear(hidden_size * 2, hidden_size) self.v nn.Parameter(torch.rand(hidden_size)) stdv 1. / (self.v.size(0)**0.5) self.v.data.uniform_(-stdv, stdv) def forward(self, hidden, encoder_outputs): # hidden: [batch_size, hidden_size] (解码器当前隐藏状态) # encoder_outputs: [batch_size, src_len, hidden_size*2] (编码器输出) src_len encoder_outputs.shape[1] # 将hidden重复src_len次以便与encoder_outputs每个时间步计算 hidden hidden.unsqueeze(1).repeat(1, src_len, 1) # [batch_size, src_len, hidden_size] # 计算能量值 (energy) energy torch.tanh(self.attn(torch.cat((hidden, encoder_outputs), dim2))) # [batch_size, src_len, hidden_size] energy energy.permute(0, 2, 1) # [batch_size, hidden_size, src_len] # self.v 作为注意力向量与energy做点积得到分数 v self.v.repeat(encoder_outputs.size(0), 1).unsqueeze(1) # [batch_size, 1, hidden_size] attn_scores torch.bmm(v, energy).squeeze(1) # [batch_size, src_len] # 返回注意力权重未归一化和归一化后的权重 return F.softmax(attn_scores, dim1)关键点这里实现了加性注意力。self.v是一个可学习的参数向量。计算出的attn_weights形状为[batch_size, src_len]表示当前解码步对源序列每个词的关注程度。6.3 定义解码器class DecoderRNN(nn.Module): def __init__(self, hidden_size, output_size, dropout_p0.1): super(DecoderRNN, self).__init__() self.hidden_size hidden_size self.output_size output_size self.dropout_p dropout_p self.embedding nn.Embedding(output_size, hidden_size) self.attention Attention(hidden_size) # GRU的输入是当前输入词嵌入 注意力上下文向量 self.gru_input_size hidden_size * 2 self.gru nn.GRU(self.gru_input_size, hidden_size, batch_firstTrue) self.out nn.Linear(hidden_size * 2, output_size) # 输出层输入GRU隐藏态上下文向量 self.dropout nn.Dropout(dropout_p) def forward(self, input, hidden, encoder_outputs): # input: [batch_size, 1] (当前输入词索引) # hidden: [1, batch_size, hidden_size] (解码器上一时刻隐藏状态) # encoder_outputs: [batch_size, src_len, hidden_size*2] embedded self.dropout(self.embedding(input)) # [batch_size, 1, hidden_size] # 计算注意力权重和上下文向量 attn_weights self.attention(hidden.squeeze(0), encoder_outputs) # [batch_size, src_len] attn_weights attn_weights.unsqueeze(1) # [batch_size, 1, src_len] context torch.bmm(attn_weights, encoder_outputs) # [batch_size, 1, hidden_size*2] # 将嵌入向量和上下文向量拼接作为GRU输入 gru_input torch.cat((embedded, context), dim2) # [batch_size, 1, hidden_size*3] output, hidden self.gru(gru_input, hidden) # output: [batch_size, 1, hidden_size] # 将GRU输出和上下文向量拼接做最终预测 output torch.cat((output.squeeze(1), context.squeeze(1)), dim1) # [batch_size, hidden_size*3] output self.out(output) # [batch_size, output_size] output F.log_softmax(output, dim1) # 使用log_softmax便于计算NLLLoss return output, hidden, attn_weights关键点解码器的每一步都动态计算注意力权重和上下文向量。GRU的输入是当前词嵌入和上下文向量的拼接。预测时又将GRU的输出和上下文向量拼接后送入线性层。这种设计让解码器在每一步都能充分利用编码器信息和已生成信息。6.4 训练循环核心逻辑def train_step(encoder, decoder, encoder_optimizer, decoder_optimizer, criterion, src_tensor, tgt_tensor): encoder_optimizer.zero_grad() decoder_optimizer.zero_grad() src_len src_tensor.size(1) tgt_len tgt_tensor.size(1) batch_size src_tensor.size(0) encoder_outputs, encoder_hidden encoder(src_tensor) # 使用编码器最后一个隐藏状态初始化解码器隐藏状态 decoder_hidden encoder_hidden.unsqueeze(0) # GRU期望的hidden形状: [num_layers*num_directions, batch, hidden_size] # 解码器第一个输入是SOS token decoder_input torch.tensor([[SOS_token]] * batch_size, devicedevice) loss 0 teacher_forcing_ratio 0.5 # 教师强制比例可以动态调整 use_teacher_forcing True if random.random() teacher_forcing_ratio else False if use_teacher_forcing: # 教师强制使用真实目标词作为下一个输入 for di in range(tgt_len): decoder_output, decoder_hidden, decoder_attention decoder( decoder_input, decoder_hidden, encoder_outputs) loss criterion(decoder_output, tgt_tensor[:, di]) decoder_input tgt_tensor[:, di].unsqueeze(1) # 下一个输入是真实词 else: # 不使用教师强制使用模型预测作为下一个输入 for di in range(tgt_len): decoder_output, decoder_hidden, decoder_attention decoder( decoder_input, decoder_hidden, encoder_outputs) topv, topi decoder_output.topk(1) decoder_input topi.squeeze(1).detach() # 下一个输入是预测词并detach切断梯度 loss criterion(decoder_output, tgt_tensor[:, di]) if decoder_input.item() EOS_token: break loss.backward() # 梯度裁剪防止梯度爆炸 torch.nn.utils.clip_grad_norm_(encoder.parameters(), max_norm1.0) torch.nn.utils.clip_grad_norm_(decoder.parameters(), max_norm1.0) encoder_optimizer.step() decoder_optimizer.step() return loss.item() / tgt_len注意事项训练循环中包含了教师强制和自回归生成两种模式并通过teacher_forcing_ratio控制。梯度裁剪是训练RNN类模型时的必备安全措施。损失是每个时间步损失的总和通常需要除以目标序列长度进行平均。7. 常见问题、调优技巧与避坑指南在实际项目中仅仅实现模型是不够的你会遇到各种各样的问题。下面是我踩过的一些坑和总结的经验。7.1 注意力权重可视化与调试注意力机制不仅是一个计算模块更是一个强大的调试工具。在模型训练后将注意力权重矩阵可视化可以直观地检查模型是否学到了合理的对齐关系例如在翻译中源语言词和目标语言词的对应关系。import matplotlib.pyplot as plt import matplotlib.ticker as ticker def show_attention(input_sentence, output_words, attentions): # attentions: [tgt_len, src_len] 的numpy数组 fig plt.figure(figsize(10, 10)) ax fig.add_subplot(111) cax ax.matshow(attentions, cmapbone) fig.colorbar(cax) # 设置坐标轴 ax.set_xticklabels([] input_sentence.split( ) [EOS], rotation90) ax.set_yticklabels([] output_words) ax.xaxis.set_major_locator(ticker.MultipleLocator(1)) ax.yaxis.set_major_locator(ticker.MultipleLocator(1)) plt.show()如果注意力图呈现明显的对角线对于顺序对齐的任务或者聚焦在某些关键词上通常说明模型学习良好。如果注意力非常分散或呈现无意义的模式可能意味着模型训练不足、超参数不当或存在梯度问题。7.2 应对长序列信息瓶颈与处理技巧即使有了Attention超长序列如长文档摘要对模型依然是挑战。局部注意力Local Attention强制解码器每一步只关注源序列的一个窗口如前后10个词而不是全部。这降低了计算复杂度和噪声干扰适用于长序列中局部相关性更强的任务。分层注意力Hierarchical Attention先对句子编码再对句子级别的表示进行编码。适用于文档级任务让模型先关注重要句子再在句子内关注重要词。Transformer的绝对优势Transformer的自注意力机制理论上可以捕获任意距离的依赖但其计算复杂度是序列长度的平方。对于极长序列可以使用稀疏注意力如Longformer、BigBird的滑动窗口注意力或线性注意力变体来降低计算成本。7.3 解码策略贪婪搜索与束搜索在推理阶段如何从解码器每一步的概率分布中选择输出词贪婪搜索Greedy Search每一步都选择概率最高的词。速度快但容易陷入局部最优导致生成不通顺或重复的序列。束搜索Beam Search维护一个大小为k束宽的候选序列集合。在每一步对集合中的每个候选序列扩展所有可能的下一个词但只保留总概率最高的k个新序列。直到所有候选序列都生成结束符选择总概率最高的序列作为最终输出。实操心得束搜索k4~10在大多数情况下显著优于贪婪搜索是生产系统中的标配。但要注意束搜索可能会生成过于保守、缺乏多样性的文本。可以尝试在束搜索中引入长度归一化防止偏向短句或随机采样如Top-k采样、核采样来增加多样性。7.4 超参数调优与训练技巧学习率与预热Transformer模型对学习率非常敏感。使用带预热的Adam优化器是标准做法。例如在前warmup_steps步内学习率从0线性增长到peak_lr然后按步数的平方根倒数衰减。丢弃率Dropout在嵌入层、注意力权重计算后、前馈网络中间等位置添加Dropout是防止过拟合的有效手段。典型值在0.1到0.3之间。标签平滑Label Smoothing在计算交叉熵损失时不将真实标签设为绝对的1而是设为略小于1的值如0.9其余概率均匀分给其他词。这可以防止模型对训练数据过度自信提升泛化能力。梯度裁剪对于RNN/Transformer梯度爆炸是常见问题。在每次loss.backward()后调用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)将梯度范数裁剪到一个阈值内。批量归一化与层归一化Transformer使用层归一化LayerNorm而CNN中常用的批量归一化BatchNorm在处理变长序列时不太方便。层归一化在序列维度上进行归一化效果更稳定。7.5 序列生成中的典型问题与对策重复生成模型反复输出同一个词或短语。对策使用重复惩罚Repetition Penalty在生成时降低已出现词的分数。或者在束搜索中引入n-gram惩罚禁止完全相同的n-gram重复出现。生成过早结束模型过早生成eos符号。对策在推理时对eos的生成概率施加惩罚负偏置或者强制模型生成至少一定长度的序列。生成无关或通用内容在对话或摘要中模型倾向于生成“我不知道”、“好的”这类安全但无用的内容。对策这通常与训练数据分布和损失函数有关。可以尝试在损失函数中加入最大互信息、多样性损失等或者使用对抗训练、强化学习来优化生成内容的质量和多样性。编码器-解码器架构是连接序列理解与生成的桥梁从最初的简单RNN到如今复杂的Transformer其核心思想——通过一个中间表示进行条件生成——始终未变。理解这个架构不仅是为了使用它更是为了在它不满足需求时知道该从何处着手改进。无论是调整Attention的计算方式、尝试不同的解码策略还是将编码器-解码器思想应用于图像描述、语音合成等跨模态任务扎实的基础都能让你走得更远。在实际编码时多可视化中间结果如注意力图多分析错误案例你会对模型的行为有更直觉的理解从而更快地定位问题并找到优化方向。
)
