1. 从零到一为什么用Python爬小说是门手艺活最近在技术社区和论坛里经常看到有朋友问怎么用Python把网上的小说爬下来存成txt。乍一看这需求简单直接不就是找个网页把文字扒下来然后写进文件吗但真上手操作过几次你就会发现这事儿远没想象中那么容易。它不像调用一个现成的API那么简单更像是在跟网站的后台工程师玩一场“猫鼠游戏”。你需要处理千奇百怪的网页结构应对防不胜防的反爬虫机制还要保证数据抓取的高效和稳定。今天我就结合自己这些年爬过上百个小说站点的经验来聊聊怎么把“爬小说”这件事从一个简单的脚本打磨成一个可靠的生产力工具。我们最终的目标不仅仅是“能爬下来”而是“能优雅、稳定、高效地爬下来”并且生成一份干净、易读的txt文档。2. 战前准备环境搭建与核心库选型工欲善其事必先利其器。在动手写代码之前选择合适的工具库至关重要。对于Python爬虫尤其是小说这种以文本内容为主的场景库的选择直接决定了代码的简洁度和后续维护的复杂度。2.1 基础环境与库安装首先确保你有一个可用的Python环境建议3.6及以上版本。接下来通过pip安装我们需要的核心库。打开你的终端或命令提示符执行以下命令pip install requests beautifulsoup4 lxml这里简单解释一下这三个库的分工requests这是HTTP库的“事实标准”。它的API设计极其人性化用来发送网络请求、获取网页的HTML源代码比Python自带的urllib要方便太多。BeautifulSoup4(bs4)网页解析神器。它能把一堆杂乱无章的HTML标签变成一个结构清晰的树形对象让你可以像操作字典和列表一样轻松地找到并提取出标题、正文、下一章链接等关键信息。lxml这是一个高性能的HTML/XML解析器。BeautifulSoup本身只是一个“包装器”它需要依赖一个底层的解析引擎。lxml的解析速度非常快稳定性也好是我们首选的解析器。注意在某些Linux发行版或纯净的Docker环境中可能需要先安装lxml的系统依赖。例如在Ubuntu上可以运行sudo apt-get install python3-lxml或sudo apt-get install libxml2-dev libxslt-dev。2.2 为什么是它们选型背后的逻辑你可能会问网上也有scrapy这样的重型框架为什么不用对于小说爬虫这种典型的“顺序抓取”一章接一章任务scrapy的异步架构和中间件机制显得有些“杀鸡用牛刀”学习曲线也陡峭。而requestsBeautifulSoup的组合足够轻量、直观特别适合初学者快速上手和理解爬虫的核心流程请求 - 解析 - 提取 - 存储。另一个常见的替代解析方案是pyquery语法类似jQuery或直接用lxml的XPath。BeautifulSoup的优点是容错性极好即使网页HTML写得不太规范它也能尽力帮你解析出来这对于结构各异的小说网站来说是个巨大的优势。它的find和find_all方法通过标签名、属性、CSS选择器来定位元素非常符合直觉。3. 核心攻防网页解析与反爬虫策略拿到网页HTML只是第一步如何精准地“挖出”我们想要的小说正文和章节链接才是真正的挑战。同时你必须意识到你的爬虫程序是不受欢迎的访客网站会有各种手段来阻止你。3.1 解析策略如何定位正文与链接每当你拿到一个新小说网站的章节页面第一件事不是写代码而是“侦察”。用浏览器的“开发者工具”F12打开仔细分析页面结构。定位正文容器查看小说正文部分对应的HTML标签。常见的情况有正文在一个div idcontent或div classcontent里。可能包裹在article标签内。更复杂的情况下正文可能由多个div或p标签组成。你需要找到那个能唯一标识正文区域的标签和属性。右键点击正文选择“检查”就能在Elements面板里看到它的HTML结构。我们的目标是找到那个包裹所有正文、且相对最外层的标签。定位“下一章”链接同样使用开发者工具找到“下一章”或“下一页”按钮对应的a标签。查看它的href属性链接地址以及它周围的标签结构比如它是否在一个div classbottem2里。编写解析代码基于你的侦察结果使用BeautifulSoup编写提取逻辑。例如假设正文在div idcontent里下一章链接是idnext的a标签from bs4 import BeautifulSoup import requests url ‘你的章节页面URL’ headers { ‘User-Agent‘: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36‘ } response requests.get(url, headersheaders) response.encoding response.apparent_encoding # 自动识别编码 soup BeautifulSoup(response.text, ’lxml‘) # 提取正文 content_div soup.find(’div‘, id’content‘) if content_div: # 清理正文中可能存在的广告、脚本等无关标签 for tag in content_div([’script‘, ’style‘, ’div‘, ’a‘]): tag.decompose() content_text content_div.get_text(stripTrue, separator’\n‘) else: content_text “正文未找到” # 提取下一章链接 next_link_tag soup.find(’a‘, id’next‘) if next_link_tag and next_link_tag.has_attr(’href‘): next_url next_link_tag[’href‘] # 处理相对路径链接 if next_url.startswith(’/‘): from urllib.parse import urljoin next_url urljoin(url, next_url) else: next_url None3.2 反爬虫应对如何让你的爬虫“活”得更久直接使用上面的代码很可能第一次请求就失败了或者爬了几章就被封了IP。这是因为你没有进行任何伪装。下面是一些必须掌握的基础反反爬策略设置请求头Headers这是最基本的伪装。一个真实的浏览器请求会携带大量的头信息其中User-Agent是最关键的。务必在每次请求中都设置一个常见的浏览器User-Agent。此外Referer头告诉服务器你从哪个页面跳转过来有时也很重要。headers { ’User-Agent‘: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘, ’Referer‘: ’https://www.example.com/‘, # 通常是小说网站的主页或上一章地址 ’Accept-Language‘: ’zh-CN,zh;q0.9‘, }处理Cookie与Session有些网站需要登录才能看小说或者通过Cookie来跟踪会话。你可以使用requests.Session()对象它会自动在多次请求间保持Cookie。session requests.Session() session.headers.update(headers) # 如果需要登录可以先post登录信息 # login_data {‘username‘: ’...‘, ’password‘: ’...‘} # session.post(login_url, datalogin_data) # 后续都用session.get(url) response session.get(chapter_url)控制访问频率延迟这是最重要的道德和技术准则。疯狂地连续请求会给服务器带来巨大压力导致你的IP被迅速封禁。务必在每次请求之间添加随机延迟。import time import random def crawl_chapter(url): # ... 发送请求和解析的代码 ... time.sleep(random.uniform(1, 3)) # 随机等待1到3秒 return content, next_url处理动态加载内容越来越多的网站使用JavaScript动态加载内容比如滚动到页面底部才加载下一章。requests只能获取初始HTML对于JS加载的内容无能为力。这时就需要用到Selenium或Playwright这样的浏览器自动化工具来模拟真人操作或者更高级地去分析网站的网络请求XHR/Fetch找到直接返回数据的API接口然后用requests去调用那个接口。这属于进阶技巧如果遇到纯静态页面无法获取内容的情况就要往这个方向思考。4. 工程化实践构建健壮的小说爬虫框架一个只能爬一章的脚本是玩具我们需要的是一个能自动爬完整本书、并且能处理各种异常情况的程序。这就涉及到程序的结构设计。4.1 核心爬取循环与状态管理爬虫的核心逻辑是一个循环从起始章节URL开始爬取内容保存然后找到下一章链接更新URL继续循环直到没有下一章链接为止。import os def crawl_novel(start_url, save_path‘novel.txt‘): ”“” 爬取整本小说的主函数 ”“” current_url start_url chapter_count 0 with open(save_path, ’w‘, encoding’utf-8‘) as f: while current_url: chapter_count 1 print(f’正在爬取第 {chapter_count} 章: {current_url}‘) try: # 爬取单章内容 chapter_title, chapter_content, next_url crawl_single_chapter(current_url) # 写入文件 f.write(f’\n\n第{chapter_count}章 {chapter_title}\n‘) f.write(’-‘ * 40 ’\n‘) f.write(chapter_content) f.write(’\n‘) # 更新当前URL为下一章链接 current_url next_url # 随机延迟避免请求过快 time.sleep(random.uniform(2, 5)) except requests.exceptions.RequestException as e: print(f’网络请求出错 ({current_url}): {e}‘) # 可以选择记录错误URL稍后重试或者直接退出 break except Exception as e: print(f’解析或处理出错 ({current_url}): {e}‘) # 同样记录或处理 break print(f’爬取完成共爬取 {chapter_count} 章已保存至 {save_path}‘)4.2 异常处理与持久化网络世界充满不确定性你的爬虫必须足够健壮。网络异常requests可能抛出多种异常如连接超时、拒绝连接等。使用try...except包裹请求代码并做好重试机制。一个简单的重试装饰器可以大大提升稳定性。import functools def retry(times3, delay2): def decorator(func): functools.wraps(func) def wrapper(*args, **kwargs): for i in range(times): try: return func(*args, **kwargs) except Exception as e: if i times - 1: raise e print(f’第{i1}次尝试失败{delay}秒后重试...‘) time.sleep(delay) return None return wrapper return decorator retry(times3, delay5) def fetch_page(url): return requests.get(url, headersheaders, timeout10)数据异常解析时可能找不到预期的标签。你的代码不能假设一切都会按计划进行要对soup.find返回的None值做判断并提供备选方案或清晰的错误日志。进度持久化爬一本长篇小说可能耗时数小时如果中途程序崩溃或网络中断从头开始爬是灾难性的。一个简单的改进是将当前爬取到的章节URL和序号保存到一个本地的状态文件如progress.json中。每次循环开始前读取状态程序重启后可以从断点继续。import json STATE_FILE ’crawl_state.json‘ def load_state(): if os.path.exists(STATE_FILE): with open(STATE_FILE, ’r‘) as f: return json.load(f) return {’current_url‘: START_URL, ’chapter_num‘: 0} def save_state(url, num): with open(STATE_FILE, ’w‘) as f: json.dump({’current_url‘: url, ’chapter_num‘: num}, f) # 在主循环中集成 state load_state() current_url state[’current_url‘] chapter_count state[’chapter_num‘] while current_url: # ... 爬取和保存 ... save_state(next_url, chapter_count) # 每成功爬取一章就保存一次状态5. 数据清洗与TXT文件优化直接从网页扒下来的文本往往包含许多“杂质”多余的空格、换行、HTML实体字符如nbsp;、甚至烦人的“防盗版”乱码文字。直接保存这样的内容阅读体验会很差。5.1 文本清洗的常见操作在将content_text写入文件前应该进行一系列清洗import re def clean_text(text): ”“” 清洗小说正文文本 ”“” if not text: return “” # 1. 替换HTML实体字符 text text.replace(’nbsp;‘, ’ ‘).replace(’amp;‘, ’‘).replace(’lt;‘, ’‘).replace(’gt;‘, ’‘) # 2. 合并过多的空白字符多个空格、制表符、换行符 # 将任何连续的空白字符包括空格、换行、制表替换为单个换行符这通常能很好处理段落 text re.sub(r’\s‘, ’\n‘, text) # 3. 处理特定网站的防盗版乱码例如在段落中随机插入无关汉字 # 这需要针对具体网站观察规律可能使用正则表达式替换 # 例如假设无关字总是“【看】【无】【错】【小】【说】”这些字符的组合 # text re.sub(r’【看】【无】【错】【小】【说】‘, ’‘, text) # 4. 去除首尾空白 text text.strip() return text5.2 文件编码与格式编码是文本处理的基石。中文小说必须使用UTF-8编码进行保存否则在其它设备上打开就会出现乱码。with open(‘novel.txt‘, ’w‘, encoding’utf-8‘) as f: f.write(content)在Windows的记事本中UTF-8文件可能会被误判。一个更稳妥的做法是写入UTF-8 with BOM字节顺序标记但这不是标准做法可能影响其他工具。对于绝大多数现代文本编辑器和阅读器如VS Code, Sublime, Notepad纯UTF-8完全没有问题。关于TXT文件的格式我个人的习惯是每章有一个明确的标题如“第XXX章 章节名”。章节标题上下用分隔线如或空行隔开增强可读性。正文段落之间保持一个空行。这可以通过在清洗时将连续的两个换行符\n\n保留而将单个换行符替换为空格来实现更精细的段落控制。6. 实战中的“坑”与进阶技巧纸上得来终觉浅绝知此事要躬行。下面分享几个我踩过坑后总结的经验。6.1 编码检测解决乱码的第一道关卡response.encoding response.apparent_encoding这行代码非常有用它让requests库去猜测页面的正确编码。但它的猜测并非100%准确。有些网站会错误地声明编码或者使用一些特殊的编码。如果发现解析出的中文是乱码你需要手动检查并指定编码。查看网页源代码中的meta charset...标签。查看HTTP响应头中的Content-Type字段如Content-Type: text/html; charsetgbk。使用chardet库进行更精确的检测需要额外安装pip install chardet。import chardet raw_data response.content encoding chardet.detect(raw_data)[’encoding‘] response.encoding encoding if encoding else ’utf-8‘ # 备选方案6.2 应对IP封锁代理IP池的简单应用当你严格遵守了延迟策略但仍然被封锁时很可能你的IP已经被网站列入黑名单。这时就需要使用代理IP。免费代理网上有很多免费代理IP列表但质量极不稳定速度慢存活时间短仅适用于学习或低频爬取。付费代理服务对于严肃的项目建议使用可靠的付费代理服务它们提供高匿、稳定的代理IP通常按流量或时间计费。在requests中使用代理非常简单proxies { ‘http‘: ’http://12.34.56.78:8080‘, ’https‘: ’http://12.34.56.78:8080‘, } # 在请求时传入proxies参数 response requests.get(url, headersheaders, proxiesproxies, timeout10)一个简单的代理IP池可以是一个列表每次请求随机选取一个并在代理失效时将其从池中移除。6.3 分布式与增量爬取思路如果项目规模变大例如需要监控成千上万本书的更新单机单线程的爬虫就力不从心了。增量爬取只爬取更新的章节。这需要你维护一个本地数据库如SQLite记录每本书已爬取的最新章节URL。每次运行时从网站目录页获取最新的章节列表与数据库对比只爬取新增的URL。简单分布式利用multiprocessing或threading模块进行多线程/多进程爬取。但请注意多线程爬取同一网站极易触发反爬必须非常谨慎地控制总请求速率并确保使用不同的代理IP或User-Agent。更常见的做法是将不同的书甚至不同网站分配给不同的进程去爬避免对单一目标站点造成过大压力。爬虫技术是一个不断对抗和升级的过程。网站会更新反爬策略会加强你的代码也需要持续维护。保持耐心多观察、多分析、多测试从每一次“爬取失败”中学习你会逐渐从一个爬虫新手成长为能应对各种复杂场景的老手。记住尊重网站的robots.txt规则合理控制爬取速度是每个爬虫开发者应有的素养。
