1. 词嵌入的前世今生从One-Hot到分布式表示第一次接触NLP的朋友可能会好奇计算机怎么理解苹果和橙子都是水果这就要从最原始的文本表示方法说起。早期的One-Hot编码就像给每个单词发身份证——苹果是[1,0,0]橙子是[0,1,0]。这种表示法有两个致命伤一是维度爆炸想象百万词汇表的百万维向量二是无法表达水果这类语义关联。2003年Bengio提出的神经概率语言模型首次用低维向量表示词语但真正引爆革命的还是2013年Google发布的Word2Vec。记得我第一次用Skip-gram模型训练中文词向量时发现国王-男人女人≈女王这样的语义关系竟然自动浮现那种震撼感至今难忘。2. 主流词嵌入算法全景解析2.1 Word2VecNLP界的Hello WorldWord2Vec就像语言界的连连看游戏通过两种玩法学习词向量CBOW连续词袋根据上下文猜当前词适合高频词训练from gensim.models import Word2Vec # 用CBOW训练 model Word2Vec(sentences, sg0, window5, min_count1)Skip-gram用当前词预测上下文对生僻词更友好实测发现Skip-gram在文本分类任务中比CBOW平均高3%准确率但训练时间要多20%。建议数据量小于1GB时优先选Skip-gram。2.2 GloVe当统计学家遇见神经网络斯坦福团队2014年提出的GloVe像是Word2Vec与矩阵分解的混血儿。它先用整个语料库统计词共现频次再通过优化目标函数生成词向量。在维基百科语料上GloVe在词类比任务上比Word2Vec高5-8个点。不过要注意GloVe对超参数更敏感。有次我把学习率设为0.1导致训练发散调到0.05后效果才稳定。建议初始设置# GloVe典型参数配置 embedding_size300 max_iter100 learning_rate0.052.3 FastText解决OOV问题的神器Facebook的FastText最妙的地方在于用字符级n-gram表示单词。比如apple会被拆解为ap,app,ppl,ple,le等子词。这带来三大优势能生成生僻词的向量如鞑靼对拼写错误更鲁棒特别适合土耳其语等黏着语在电商搜索场景实测FastText比Word2Vec的OOV未登录词识别率提升40%。3. 算法选型指南没有最好只有最合适3.1 根据数据规模选择数据量推荐算法训练时间参考100MBWord2Vec10-30分钟100MB-1GBGloVe1-3小时1GBFastText4-8小时3.2 按任务类型匹配文本分类Word2Vec CBOW速度快机器翻译FastText处理稀有词推荐系统GloVe捕捉全局统计特征知识图谱BERTWord2Vec组合需要上下文感知去年做新闻推荐项目时先用GloVe预训练再用用户点击数据微调Word2VecCTR提升了15%。这说明混合使用往往能出奇效。4. 实战中的避坑指南4.1 参数调优经验窗口大小短文本用3-5长文档用8-10向量维度通常256-512维维度太高反而降低效果负采样5-20个负样本效果最佳太多会拖慢训练4.2 常见误区以为词嵌入越大越好实际300维足够处理大多数任务忽略停用词过滤的、是等词会污染语义空间用不同算法训练的词向量直接比较必须统一向量空间有次为了赶项目我没做数据清洗就直接训练结果机器学习和洗碗机竟然出现在同一个聚类原来是语料里混入了家电论坛数据...5. 超越传统词嵌入的新趋势虽然Word2Vec系列仍是工业界主流但上下文相关嵌入正在崛起。ELMo、BERT等模型生成的动态词向量能解决苹果在水果和手机公司时的多义性问题。不过这些模型计算成本较高实际部署时需要权衡效果与性能。对于刚入门的朋友建议先从Word2Vec开始练手再逐步过渡到更复杂的模型。就像学画画要先掌握素描再尝试油画一样打好基础才能走得更远。