核心问题直接提取全部文本、去掉所有空格做字符串比对是否合理结论不完全合理有坑但可以改造后可用。为什么直接“全部提取文本删掉全部空格换行”有问题无关文本干扰广告、侧边栏、时间戳、访问统计、页面弹窗、js动态渲染提示、底部版权时间每次刷新会变实际正文没有变比对会误判为变更。标签内属性文本混入meta、script、style内文字这些不属于页面可见正文。空格语义被完全抹除正常段落内部空格、换行全部删除虽然适合简单比对但丢失原文另外HTML里nbsp;、\t、\r多种空白字符需要统一处理。DOM顺序微调网页开发者微调标签嵌套、增加class/id属性可见文本完全没变但HTML源码不一样如果你只关心人看到的内容应该对比渲染后的可见文本而不是原始html源码。动态网页JS渲染内容如果只用requests拿静态HTML拿不到js生成的文本。适用场景适合简单静态页面、正文占绝大部分、噪声少的场景不适合新闻门户、带广告、侧边组件频繁改动的网页。方案一提取HTML可见纯文本使用BeautifulSoup关键点移除script style noscript标签不要把JS、CSS代码当成文本。提取用户肉眼可见文本。空白字符归一化不是粗暴删除所有空格两种策略策略A用于比对把所有空白换行、制表、多个空格、nbsp;压缩成单个空格策略B你想要全部删除所有空白字符得到一整串连续字符串用于哈希比对。对文本做哈希md5保存到数据库下次抓取直接对比哈希不用存大段文本。完整示例代码frombs4importBeautifulSoupimportreimporthashlibdefextract_visible_text(html:str,remove_all_whitespace:boolFalse)-str: 提取HTML可见文本剔除script/style等标签内容 :param html: html原始字符串 :param remove_all_whitespace: True删除全部空白False多个空白压缩成单个空格 :return: 清洗后的纯文本 soupBeautifulSoup(html,html.parser)# 删除脚本、样式标签不要它们的文本forbad_taginsoup([script,style,noscript]):bad_tag.decompose()# 获取全部可见文本raw_textsoup.get_text(separator )# 替换所有空白字符换行\r\n、制表\t、nbsp、多个空格# \s 匹配空格、制表符、换行、回车ifremove_all_whitespace:# 全部删掉所有空白字符得到连续字符串clean_textre.sub(r\s,,raw_text)else:# 多个空白压缩为1个空格保留语义clean_textre.sub(r\s, ,raw_text).strip()returnclean_textdefcalc_text_hash(text:str)-str:计算md5哈希用于快速比对存入数据库returnhashlib.md5(text.encode(utf-8)).hexdigest()# ---------------- 使用示例 ----------------if__name____main__:html1 html body div你好 世界/div scriptconsole.log(123)/script p第一行br第二行/p /body /html text_all_removeextract_visible_text(html1,remove_all_whitespaceTrue)print(f删除全部空白文本{text_all_remove})# 输出你好世界第一行第二行text_compressextract_visible_text(html1,remove_all_whitespaceFalse)print(f空白压缩为单个空格{text_compress})# 输出你好 世界 第一行 第二行hash_valcalc_text_hash(text_all_remove)print(f文本md5:{hash_val})# 比对逻辑数据库存上次的md5old_hashxxxifhash_val!old_hash:print(页面内容发生变化)else:print(页面没有变化)两种比对思路对比方案做法优点缺点比对原始HTML源码直接对比requests拿到的response.text最简单css class、注释、换行、js随机变量微小改动就判定变更大量误报提取可见文本删除全部空格后比对re.sub(r\s,,text)后对比字符串/md5字符串短比对极快不关心排版换行丢失段落语义页面插入一个空格就不变但是文字顺序改动可以识别广告噪声会带来误判提取可见文本空白压缩为单个空格比对多个空白压缩为一个空格保留基础语义更贴近阅读体验字符串略长比对速度略低建议数据库存储清洗后文本的md5哈希值不要每次存整段大文本节省存储空间。重要缺陷与优化建议解决误报问题1页面存在噪声时间、广告、访问计数比如网页底部更新时间2026‑08‑05每次抓取时间变化正文不变会判定页面改动。优化如果页面有固定选择器比如正文是div.content不要抓取整个页面的全部文本只提取正文区块。# 只提取正文部分不要整个网页content_divsoup.select_one(div.content)ifcontent_div:raw_textcontent_div.get_text(separator )这是最关键优化不要拿整个网页优先定位正文DOM节点。问题2JS动态渲染页面requests只能拿到初始静态HTML如果内容是JS渲染出来BeautifulSoup提取不到。解决使用DrissionPage / Playwright获取渲染完成后的HTML。问题3极小改动标点、一个字改动md5可以精准识别任意字符改动如果业务希望容忍微小改动可以用文本相似度算法difflib、simhash而不是严格相等。md5严格完全相等才判定无变化只要一个字符不同哈希完全不同适合要求精准比对。simhash适合新闻网页允许少量文字改动判断是否“大体内容没变”。回到你的业务什么场景适合“提取全部文本去空格比对”✅适合场景静态页面正文是主体广告/噪声很少只关心文字内容不在乎排版、换行需要快速判断页面是否改动。❌不适合场景网页有动态时间戳、广告、侧边栏、计数器需要区分排版空格换行有业务意义JS渲染为主的网页。推荐最终工作流你的爬虫请求拿到html优先选择正文DOM节点而不是整个页面提取可见文本过滤script/style将空白全部归一化压缩或者删除计算md5哈希和数据库中历史md5对比哈希一致 → 页面无变化跳过存储哈希不一致 → 内容更新保存新文本新md5入库。如果无法定位正文DOM只能抓取全页文本你需要做好心理准备会出现少量“误报变更”建议日志记录定期排查。
)
