1. 词频统计基础与Python实现词频统计是文本分析中最基础也最实用的技术之一。简单来说就是统计一段文本中每个词出现的次数。这听起来简单但在实际应用中却能发挥巨大作用。比如我们可以通过分析用户评论中的高频词了解产品优缺点或者通过统计新闻中的关键词把握热点话题。在Python中实现词频统计主要有两种主流方法我推荐新手从collections.Counter开始入手。这个工具用起来特别顺手就像数钱一样简单。先来看个最简单的例子from collections import Counter text Python 做文本分析真的很方便 Python 也可以做可视化 words text.split() # 简单按空格分词 word_counts Counter(words) print(word_counts.most_common())运行后会输出[(Python, 2), (做, 1), (文本分析, 1)...]这个结果已经按词频降序排列好了。不过实际项目中我们往往需要更复杂的处理流程。完整的词频统计通常包含以下步骤文本预处理去除标点、特殊字符分词中文需要额外分词处理停用词过滤去掉的、是等无意义词词频统计结果保存与可视化对于中文文本分词是关键环节。我推荐使用jieba库它就像文本处理的瑞士军刀。下面是一个完整的中文词频统计示例import jieba from collections import Counter def chinese_word_count(text): # 精确模式分词 words jieba.lcut(text) # 过滤单字和停用词 words [word for word in words if len(word) 1] return Counter(words) comment 这款手机拍照效果很棒但电池续航不太理想 word_counts chinese_word_count(comment) print(word_counts.most_common(3))2. 使用Pandas进行高级词频分析当我们需要处理大量文本数据时Pandas就派上大用场了。它就像是一个超级电子表格能让我们轻松实现各种复杂分析。我经常用它来做多维度词频统计效率比纯Python高出不少。首先我们把文本数据整理成DataFrame格式。假设我们有一组产品评论import pandas as pd reviews pd.DataFrame({ content: [质量很好物流很快, 包装精美质量不错, 效果一般般], rating: [5, 4, 3] })接下来我们可以对每条评论进行分词并展开成长格式def cut_words(text): return [word for word in jieba.lcut(text) if len(word) 1] reviews[words] reviews[content].apply(cut_words) word_df reviews.explode(words)现在我们就能轻松实现各种维度的统计了。比如按评分分组统计词频# 按评分统计高频词 rating_word_counts word_df.groupby([rating, words]).size().unstack() # 找出每个评分下的TOP3词 top_words_by_rating rating_word_counts.apply(lambda x: x.nlargest(3).index.tolist(), axis1)Pandas的强大之处在于可以轻松实现交叉分析。比如我们想看看哪些词经常出现在好评(5分)中但很少出现在差评(1-3分)中good_words set(rating_word_counts.loc[5].nlargest(20).index) bad_words set(rating_word_counts.loc[3].nlargest(20).index) unique_good_words good_words - bad_words3. 多维度词频统计技巧基础词频统计只能告诉我们哪些词出现得多而多维度的分析能揭示更有价值的信息。下面介绍几种实用的进阶技巧。按词性统计通过词性标注我们可以分别统计名词、动词等的出现频率。这需要使用jieba的posseg模块import jieba.posseg as pseg def count_by_pos(text): words pseg.cut(text) pos_counts Counter() for word, flag in words: pos_counts[flag] 1 return pos_counts pos_stats count_by_pos(自然语言处理很有趣)按文本位置统计分析词语在不同段落或位置的分布。比如统计新闻导语和正文的高频词差异def count_by_section(text, n3): sections text.split(\n) section_counts [] for i, section in enumerate(sections[:n]): words jieba.lcut(section) section_counts.append(Counter(words)) return section_counts动态词频变化对于长文本如小说可以统计词频随章节的变化。这需要先将文本分块def rolling_word_count(text, window_size1000): words jieba.lcut(text) rolling_counts [] for i in range(0, len(words), window_size): chunk words[i:iwindow_size] rolling_counts.append(Counter(chunk)) return pd.DataFrame(rolling_counts)4. 词频可视化实战统计结果只有通过可视化才能真正发挥价值。Python的Matplotlib和WordCloud库能让我们的数据说话。柱状图最适合展示TOP-N高频词import matplotlib.pyplot as plt top_words word_counts.most_common(10) words, counts zip(*top_words) plt.figure(figsize(10,5)) plt.bar(words, counts) plt.title(TOP10高频词) plt.xticks(rotation45) plt.show()词云则能直观展示词频分布词越大表示出现越频繁from wordcloud import WordCloud wordcloud WordCloud(font_pathsimhei.ttf, background_colorwhite).generate_from_frequencies(word_counts) plt.imshow(wordcloud) plt.axis(off) plt.show()对于多维度数据热力图是个不错的选择。比如展示不同评分下的词频差异import seaborn as sns # 选取前20个高频词 top_20_words word_counts.most_common(20) top_20_words [word for word, count in top_20_words] # 构建词频矩阵 word_rating_matrix pd.crosstab(word_df[words], word_df[rating]).loc[top_20_words] # 绘制热力图 plt.figure(figsize(12,8)) sns.heatmap(word_rating_matrix, cmapYlGnBu, annotTrue, fmtd) plt.title(不同评分下的词频分布) plt.show()5. 实际应用案例掌握了这些技术后我们可以解决很多实际问题。比如分析电商评论了解用户最关注的产品特性。首先我们需要准备数据。这里我使用一个模拟的手机评论数据集comments [ {content: 拍照效果很好电池续航也不错, rating: 5}, {content: 系统流畅但发热严重, rating: 3}, # ...更多评论 ] df pd.DataFrame(comments)然后进行情感倾向分析找出正面和负面评价中的特征词# 定义情感词词典简化版 positive_words [好, 棒, 流畅, 快] negative_words [差, 慢, 发热, 卡] def analyze_sentiment(text): words jieba.lcut(text) pos_count sum(1 for word in words if word in positive_words) neg_count sum(1 for word in words if word in negative_words) return positive if pos_count neg_count else negative df[sentiment] df[content].apply(analyze_sentiment)最后我们可以分别统计正面和负面评价中的高频词positive_words df[df[sentiment] positive][content].apply(cut_words).explode() negative_words df[df[sentiment] negative][content].apply(cut_words).explode() print(正面评价高频词:, Counter(positive_words).most_common(5)) print(负面评价高频词:, Counter(negative_words).most_common(5))另一个实用案例是文档关键词提取。通过结合TF-IDF算法我们可以找出文档中最具代表性的词语from sklearn.feature_extraction.text import TfidfVectorizer docs [ .join(jieba.lcut(doc)) for doc in document_collection] vectorizer TfidfVectorizer() tfidf_matrix vectorizer.fit_transform(docs) # 获取特征词 feature_names vectorizer.get_feature_names_out() # 找出每个文档的TOP3关键词 for i, doc in enumerate(docs): tfidf_scores zip(feature_names, tfidf_matrix[i].toarray()[0]) top_keywords sorted(tfidf_scores, keylambda x: x[1], reverseTrue)[:3] print(f文档{i1}关键词:, top_keywords)6. 性能优化与实用技巧处理大规模文本时性能优化很重要。这里分享几个我实践中总结的技巧。使用生成器处理大文件避免一次性加载整个文件到内存。def read_large_file(file_path): with open(file_path, r, encodingutf-8) as f: for line in f: yield line.strip() # 流式处理 word_counts Counter() for line in read_large_file(large_text.txt): words jieba.lcut(line) word_counts.update(words)多进程加速统计过程对于超大规模文本可以使用multiprocessing。from multiprocessing import Pool def process_chunk(chunk): return Counter(jieba.lcut(chunk)) with Pool(4) as p: # 使用4个进程 chunk_counts p.map(process_chunk, read_large_file(huge_text.txt)) total_counts sum(chunk_counts, Counter())缓存分词结果如果多次分析相同文本可以缓存分词结果节省时间。from functools import lru_cache lru_cache(maxsize1000) def cached_cut(text): return jieba.lcut(text)对于特殊领域的文本如医疗、法律自定义词典能显著提高分词准确率jieba.load_userdict(medical_terms.txt)最后处理中文文本时要注意编码问题。我建议统一使用UTF-8编码with open(file.txt, r, encodingutf-8) as f: content f.read()7. 常见问题与解决方案在实际项目中我遇到过不少坑这里分享几个典型问题的解决方法。问题1分词不准确解决方案调整jieba分词模式或添加自定义词典。比如jieba.add_word(深度学习) # 添加新词 jieba.suggest_freq((人工, 智能), True) # 调整词频问题2停用词过滤不彻底解决方案使用更全面的停用词表并针对领域调整with open(stopwords.txt, encodingutf-8) as f: stopwords set(line.strip() for line in f) # 添加领域特定停用词 stopwords.update([本公司, 贵方])问题3词形归一化中文中同一个词可能有不同写法如好像和好象需要统一normalization_dict {好象: 好像, 哪么: 那么} def normalize_text(text): for wrong, right in normalization_dict.items(): text text.replace(wrong, right) return text问题4新词发现对于社交媒体文本常会出现新词如网络用语。可以使用jieba的搜索引擎模式words jieba.cut(text, cut_allFalse, HMMTrue) # 启用新词发现问题5可视化中文乱码Matplotlib默认不支持中文需要设置中文字体plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False8. 扩展应用与进阶方向掌握了基础词频统计后可以进一步探索更高级的文本分析技术。情感分析结合情感词典分析文本情感倾向。sentiment_dict { 好: 1, 棒: 1, 差: -1, 烂: -1 } def analyze_sentiment(text): words jieba.lcut(text) score sum(sentiment_dict.get(word, 0) for word in words) return 正面 if score 0 else 负面 if score 0 else 中性主题建模使用LDA算法发现文本隐藏主题。from sklearn.decomposition import LatentDirichletAllocation from sklearn.feature_extraction.text import CountVectorizer # 将文本转为词频矩阵 vectorizer CountVectorizer(tokenizerjieba.lcut) X vectorizer.fit_transform(documents) # 训练LDA模型 lda LatentDirichletAllocation(n_components5) lda.fit(X) # 输出每个主题的关键词 feature_names vectorizer.get_feature_names_out() for topic_idx, topic in enumerate(lda.components_): print(f主题{topic_idx1}:) print( .join([feature_names[i] for i in topic.argsort()[:-10:-1]]))词向量与相似度计算使用Word2Vec或BERT等模型。from gensim.models import Word2Vec # 训练词向量模型 sentences [jieba.lcut(doc) for doc in documents] model Word2Vec(sentences, vector_size100, window5, min_count1) # 计算词相似度 print(model.wv.similarity(手机, 电脑))文本分类基于词频特征训练分类器。from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import make_pipeline from sklearn.feature_extraction.text import TfidfTransformer # 构建分类管道 clf make_pipeline( CountVectorizer(tokenizerjieba.lcut), TfidfTransformer(), MultinomialNB() ) # 训练模型 clf.fit(train_texts, train_labels)