1. 从“能打开网页”到“能拿到数据”理解爬虫的核心跨越上次我们聊了聊爬虫是什么以及最基础的requests.get怎么用。很多朋友照着例子敲了一遍成功打印出了某个网页的HTML源码感觉“爬虫不过如此”。但紧接着问题就来了面对屏幕上这一大坨密密麻麻、夹杂着各种标签和符号的文本我们真正需要的数据——比如商品的价格、文章的标题、评论的内容——到底在哪怎么把它像摘葡萄一样一颗颗干净利落地摘下来这就是从“网络请求”到“数据解析”的关键一跃也是新手最容易卡住的地方。你会觉得明明数据就在眼前网页上能看见但代码就是拿不到或者拿不完整、拿不干净。这种感觉就像隔着一层毛玻璃看东西很模糊。今天我们就来把这层毛玻璃打碎聊聊怎么用 Python 里最主流、也最易上手的工具——BeautifulSoup来精准地提取你需要的数据。我刚开始学的时候也以为拿到 HTML 就万事大吉结果在解析数据上花了最多的时间踩了最多的坑。比如明明在浏览器里右键“检查”能看到清晰的class名但用soup.find就是找不到或者网页结构稍微一变脚本就全军覆没。这些痛我都懂。所以这篇我们不只讲语法更会结合我实际爬取电商、新闻、社交媒体注此处泛指技术学习不特指任何敏感平台数据的经验告诉你哪些地方容易翻车以及怎么写出更健壮、更像“老手”的代码。2. 解析利器 BeautifulSoup你的“数据收割机”在开始写代码之前我们得先统一认识HTML 是什么它不是一个规整的表格而是一棵“树”。这棵树有根html有枝干div,section有叶子p,span包含的文本。BeautifulSoup通常简称bs4就是一个帮你在这棵树上导航、寻找特定枝干和叶子的园丁。它的工作原理不是用正则表达式去硬匹配文本虽然也可以但那太痛苦了而是把 HTML 解析成一个个 Python 对象让你可以用“点”操作和“找”方法来访问。2.1 安装与环境准备首先确保你安装了它。如果你用的是pip打开终端或命令提示符输入pip install beautifulsoup4同时我们通常需要一个“解析器”来配合BeautifulSoup工作。就像读中文需要懂中文读 HTML 也需要一个懂 HTML 语法的帮手。最常用的是lxml它速度快、容错好。pip install lxml如果安装lxml遇到问题特别是在 Windows 上可以先用 Python 自带的html.parser虽然慢点但胜在无需额外安装。我们的代码会兼顾这两种情况。一个完整的爬虫脚本开头通常长这样import requests from bs4 import BeautifulSoup # 目标网址我们用一个静态页面做示例避免复杂情况 url https://httpbin.org/html # 这是一个返回示例HTML的测试网站 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: response requests.get(url, headersheaders) response.raise_for_status() # 检查请求是否成功 response.encoding response.apparent_encoding # 自动识别编码 except requests.RequestException as e: print(f网络请求失败: {e}) exit() # 创建BeautifulSoup对象指定解析器 # 使用 lxml soup BeautifulSoup(response.text, lxml) # 如果 lxml 安装失败使用 html.parser # soup BeautifulSoup(response.text, html.parser) print(type(soup)) # 输出class bs4.BeautifulSoup到这里你已经把原始的 HTML 文本转化成了一个可以操作的soup对象。你可以把它打印出来会发现它和response.text看起来差不多但内在已经完全不同了。2.2 导航与搜索find 与 find_allsoup对象提供了两种最核心的查找方法find()和find_all()。find()返回第一个匹配的标签。find_all()返回一个列表包含所有匹配的标签。怎么告诉它你要找什么呢主要靠标签名和属性。场景一按标签名找假设你想找所有的段落p。first_p soup.find(p) # 找到第一个p标签 all_ps soup.find_all(p) # 找到所有p标签返回列表 print(f找到 {len(all_ps)} 个段落。) for p in all_ps[:3]: # 只看前三个 print(p.text) # .text 属性获取标签内的纯文本场景二按属性找最常用网页开发者会给重要的元素加上id唯一或class类可多个属性这就是我们的“路标”。# 假设有一个 div idprice299/div price_tag soup.find(div, idprice) if price_tag: print(f商品价格: {price_tag.text}) # 假设有多个 span classstar active/span 表示亮星 active_stars soup.find_all(span, class_active) # 注意class是Python关键字所以要加下划线 print(f亮星数量: {len(active_stars)})注意class_这个参数名是必须的因为class是 Python 的保留字。这是BeautifulSoup里最容易写错的语法点之一。场景三组合查找与CSS选择器你可以组合多个条件或者使用更强大的select方法它支持 CSS 选择器语法非常直观。# 找到 class 为 ‘item’ 的 div 标签下的第一个 a 标签 link soup.find(div, class_item).find(a) # 使用CSS选择器实现同样功能更简洁 link soup.select_one(div.item a) # select_one 相当于 find all_links soup.select(div.item a) # select 相当于 find_all找所有 div.item 下的 a 标签select的语法和你在浏览器开发者工具里右键“Copy selector”看到的很像学习成本低功能强大是我现在最推荐的方式。比如soup.select(‘#main .title’)选择 id 为main的元素内部所有 class 为title的元素。soup.select(‘ul li:nth-child(2)’)选择每个 ul 列表下的第二个 li 元素。3. 数据提取的“脏活累活”文本清洗与属性获取找到标签只是第一步标签里的内容才是我们想要的。这里坑最多。3.1 获取文本.text,.string,.get_text().text和.get_text()获取标签及其所有子孙标签的纯文本合并成一个字符串。这是最常用的。html_snippet divHello bWorld/b!/div soup_snippet BeautifulSoup(html_snippet, html.parser) tag soup_snippet.find(div) print(tag.text) # 输出Hello World! print(tag.get_text()) # 输出Hello World!.string如果这个标签只有一个子节点并且是字符串则返回该字符串。否则返回None。条件苛刻容易出错新手慎用。print(tag.b.string) # 输出World 因为b标签内只有一个字符串子节点 print(tag.string) # 输出None 因为div有多个子节点实操心得99% 的情况用.text或.get_text()。.get_text()还可以设置分隔符比如tag.get_text(‘’)会用逗号连接不同部分的文本在处理复杂内容时有用。3.2 获取属性像字典一样访问标签的属性如href,src,># 假设有一个链接 a href/product/123 classbtn>dirty_html ‘p 价格 299元 /p’ soup_dirty BeautifulSoup(dirty_html, ‘html.parser’) print(repr(soup_dirty.p.text)) # 输出’ 价格 299元 ‘你需要清洗它。Python 字符串的.strip()方法可以去掉首尾空白.replace()可以替换特定字符。clean_text soup_dirty.p.text.strip() # ‘价格 299元’ # 或者更彻底地去掉所有空白字符 import re cleaner_text re.sub(r‘\s’, ‘ ‘, soup_dirty.p.text).strip() # ‘价格 299元’我的经验对于重要的数据字段如价格、日期建立专门的清洗函数。比如提取价格不仅要 strip还要用正则表达式r‘\d(\.\d)?’把数字部分提取出来并转换成float类型方便后续计算。4. 实战爬取一个静态商品列表页光说不练假把式。我们找一个练习用的静态网站例如一些大学的课程页面或开源项目的示例页模拟爬取一个商品列表。这里我以假设的简单结构为例你需要根据实际目标网站调整选择器。目标从一个商品列表页中提取每个商品的名称、价格和详情链接。假设的HTML结构div classproduct-list div classproduct-item h3a href/item/1Python编程从入门到实践/a/h3 p classprice59.90/p /div div classproduct-item h3a href/item/2深入理解计算机系统/a/h3 p classprice129.00/p /div /div爬虫代码import requests from bs4 import BeautifulSoup import re def clean_price(price_str): 清洗价格字符串提取数字 # 匹配数字包括小数点 match re.search(r‘\d(\.\d)?’, price_str) if match: return float(match.group()) return None url ‘你的目标列表页URL’ headers {‘User-Agent’: ‘Mozilla/5.0...‘} try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 很多时候需要手动指定编码比如‘gbk’ # resp.encoding ‘gbk’ except Exception as e: print(f“请求失败: {e}”) exit() soup BeautifulSoup(resp.text, ‘lxml’) # 找到所有商品项容器 product_items soup.select(‘div.product-list div.product-item’) # 或者用 find_all: product_items soup.find_all(‘div’, class_‘product-item’) products [] for item in product_items: product {} # 提取名称和链接 title_tag item.select_one(‘h3 a’) if title_tag: product[‘name’] title_tag.text.strip() # 拼接完整链接如果是相对路径 product[‘link’] requests.compat.urljoin(url, title_tag[‘href’]) else: product[‘name’] ‘N/A’ product[‘link’] ‘N/A’ # 提取价格 price_tag item.select_one(‘p.price’) if price_tag: raw_price price_tag.text.strip() product[‘price’] clean_price(raw_price) else: product[‘price’] None if product[‘name’] ! ‘N/A’: # 简单过滤无效数据 products.append(product) # 打印结果 for idx, prod in enumerate(products, 1): print(f“商品{idx}: {prod[‘name’]} | 价格: {prod[‘price’]} | 链接: {prod[‘link’]}”) print(f“\n共爬取到 {len(products)} 件商品。”)这段代码里的几个关键点错误处理网络请求用try-except包裹select_one和属性获取前都做了判断避免因某个标签缺失导致整个程序崩溃。链接拼接使用requests.compat.urljoin(base_url, href)可以智能地拼接相对路径和绝对路径比手动拼接更可靠。数据清洗专门写了clean_price函数来处理价格字符串确保最终得到的是可以计算的数值。数据存储我们把每个商品的信息存成一个字典再把字典放进列表。这是后续保存到文件或数据库的基础结构。5. 绕过第一个大坑动态加载与请求分析如果你按照上面的代码去爬一些现代网站比如电商、社交媒体很可能发现soup.select(‘div.product-item’)返回的是一个空列表。但你明明在浏览器里能看到商品。这就是我们遇到的第一个真正的大坑动态加载。很多网站为了性能和用户体验不会在第一次请求的 HTML 里放入所有数据。而是先给你一个页面骨架包含基础的 HTML、CSS、JS然后由浏览器执行 JavaScript 代码再去后台API请求数据最后动态地插入到页面中。我们的requests只拿到了最初的“骨架”自然看不到动态插入的内容。怎么办有两个主流思路5.1 思路一模拟浏览器执行JS重量级使用像Selenium或Playwright这样的工具它们可以控制一个真实的浏览器如 Chrome去打开网页等待 JS 执行完毕再获取完整的页面源码。这种方法能解决几乎所有的动态加载问题因为它看到的就是最终用户看到的页面。优点简单粗暴通用性强。缺点速度慢消耗资源多不适合大规模爬取。# 使用 Selenium 的示例需安装selenium和对应浏览器驱动 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options webdriver.ChromeOptions() options.add_argument(‘--headless’) # 无头模式不显示浏览器窗口 driver webdriver.Chrome(optionsoptions) driver.get(url) # 等待某个动态加载的元素出现 try: element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, “product-item”)) ) # 获取渲染后的页面源码 page_source driver.page_source soup BeautifulSoup(page_source, ‘lxml’) # 接下来就可以用之前的BeautifulSoup方法解析了 finally: driver.quit()5.2 思路二直接请求数据接口推荐重量级这是爬虫工程师更常用的方法。既然数据是 JS 通过 API 请求来的那我们为什么不直接去请求那个 API 呢这样更快、更轻量、更直接。操作步骤打开浏览器开发者工具F12切换到Network网络选项卡。刷新或滚动页面触发动态加载。在 Network 面板里寻找类型为XHR或Fetch的请求。这些通常是数据 API。点击其中一个请求查看它的Headers请求头和Payload请求参数可能在 Payload 或 Query String Parameters 里。模仿这个请求用requests库直接发送。实战分析示例 假设你发现一个GET请求URL 是https://api.example.com/products?page1size20返回的是清晰的 JSON 数据。import requests import json api_url ‘https://api.example.com/products’ params { ‘page’: 1, ‘size’: 20 } # 通常API请求需要特定的Headers比如Referer, Authorization等 headers { ‘User-Agent’: ‘...‘, ‘Referer’: ‘https://www.example.com/list’, # 告诉服务器请求来自哪个页面 # ‘Authorization’: ‘Bearer xxx’ # 如果需要认证 } resp requests.get(api_url, paramsparams, headersheaders) if resp.status_code 200: data resp.json() # 直接解析JSON # data 现在就是一个Python字典/列表可以直接提取数据 for product in data[‘items’]: print(product[‘name’], product[‘price’])优点效率极高数据干净直接是结构化的 JSON。缺点需要一定的分析能力且 API 可能带有复杂的参数或加密如token,sign反爬措施更严格。我的选择对于学习和小规模爬取可以先从Selenium入手确保能拿到数据建立信心。然后一定要尝试去分析 Network练习直接抓包 API。这是从“脚本小子”走向“爬虫工程师”的关键一步。很多看似复杂的网站其数据接口可能比你想象的要简单。6. 让爬虫更“礼貌”与“健壮”如果你连续快速请求一个网站很可能很快就会被封 IP。所以我们必须让爬虫行为像真人。6.1 设置请求头Headers最基本的要设置User-Agent告诉服务器你是一个“浏览器”。更逼真的话还可以加上Referer你从哪个页面跳转来的、Accept-Language等。headers { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’, ‘Accept’: ‘text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8’, ‘Accept-Language’: ‘zh-CN,zh;q0.9,en;q0.8’, ‘Referer’: ‘https://www.google.com/‘, }6.2 添加延迟Sleep在两个请求之间随机等待一段时间。import time import random for page in range(1, 6): # ... 发送请求解析数据 ... time.sleep(random.uniform(1, 3)) # 随机等待1到3秒6.3 处理异常和重试网络不稳定服务器可能暂时无响应。使用try-except并配合重试机制。import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry # 创建一个带重试策略的Session session requests.Session() retries Retry(total3, # 总共重试3次 backoff_factor0.5, # 重试间隔时间会递增 status_forcelist[500, 502, 503, 504]) # 遇到这些状态码才重试 session.mount(‘http://’, HTTPAdapter(max_retriesretries)) session.mount(‘https://’, HTTPAdapter(max_retriesretries)) try: response session.get(url, headersheaders, timeout5) response.raise_for_status() except requests.exceptions.RequestException as e: print(f“请求最终失败: {e}”)6.4 应对反爬简单验证码与IP限制简单验证码如果是简单的数学运算或扭曲文字可以考虑使用 OCR 库如pytesseract但识别率感人或第三方打码平台需要付费。更常见的是在遇到验证码时程序暂停提醒人工干预。IP限制这是最头疼的。解决方案包括降低请求频率这是最基本、最有效的尊重。使用代理IP池轮换不同的 IP 地址发送请求。注意获取和使用代理IP需遵守相关法律法规和服务条款务必从合法渠道获取并用于合法合规的爬取目的。识别并遵守robots.txt在网站根目录下如https://example.com/robots.txt这个文件规定了哪些路径允许或禁止爬虫访问。使用robotparser模块可以解析它。7. 下一步数据的归宿费劲千辛万苦爬下来的数据不能只打印在屏幕上。你需要保存它。根据数据量和用途有几种选择文件CSV适合表格数据。用csv模块。import csv with open(‘products.csv’, ‘w’, newline‘’, encoding‘utf-8-sig’) as f: writer csv.DictWriter(f, fieldnames[‘name’, ‘price’, ‘link’]) writer.writeheader() writer.writerows(products) # products是字典列表JSON适合嵌套的、结构复杂的数据。用json模块。import json with open(‘products.json’, ‘w’, encoding‘utf-8’) as f: json.dump(products, f, ensure_asciiFalse, indent2) # indent让格式美观数据库SQLite轻量单文件无需安装服务器。Python 内置sqlite3模块非常适合入门和小型项目。MySQL/PostgreSQL功能更强大的关系型数据库适合数据量大、需要复杂查询的场景。MongoDB文档型数据库存储 JSON 格式的数据非常自然schema 灵活。把数据存下来你才能进行下一步的分析、可视化或应用。这才是爬虫价值的体现。爬虫入门的第一步是拿到 HTML第二步就是今天讲的从 HTML 里精准提取出你要的数据。BeautifulSoup是你的主力工具find_all、select、.text、.get()这些是基本动作。但真正的挑战在于网站不会乖乖把数据放在静态 HTML 里等你拿动态加载、反爬机制才是常态。所以学会用开发者工具分析网络请求区分静态内容和动态接口是进阶的必经之路。写爬虫代码一定要有“防御性编程”思维标签可能找不到属性可能不存在网络可能出错。多用try-except多用if判断给关键步骤加上日志。刚开始慢一点没关系代码健壮性远比跑得快重要。下一期我们可以聊聊更复杂的场景比如模拟登录、处理 Cookies 和 Session或者如何规划一个完整的、可复用的爬虫项目结构。
