Python 爬虫项目：产品官网介绍数据抓取 前言企业产品官网是品牌对外展示产品参数、功能特点、应用场景、服务说明、价格体系及版本迭代信息的核心载体官网内的产品介绍数据是竞品分析、市场调研、产品选型、内容整理、行业知识库搭建等工作的重要数据源。传统人工复制、手动整理官网内容的方式不仅耗时费力还容易出现内容遗漏、格式错乱、更新不及时等问题无法满足批量、周期性数据整理的业务需求。依托 Python 开发定向爬虫程序能够自动化遍历产品官网页面、抓取全品类产品介绍内容、完成结构化清洗与统一存储实现数据采集流程标准化与自动化。本文围绕企业产品官网开展数据抓取实战区分静态产品官网、分页产品列表、产品详情多级页面三种主流架构完整讲解页面分析、请求封装、多级页面联动抓取、文本清洗、格式统一、文件存储、异常防护等全链路技术实现。文中所使用的开发库及官方文档链接如下开发者可直接跳转查阅、下载资源与参考语法规则 Python 官方标准库文档、requests 网络请求库、BeautifulSoup 网页解析库、lxml 解析引擎、re 正则表达式库、csv 数据存储库、os 文件操作库、time 时间处理库、random 随机数库、fake-useragent 请求头伪装库。全文结合真实产品官网场景编写可落地代码同步拆解每一段代码的运行原理、页面适配逻辑与优化思路针对官网常见的多级页面跳转、内容分段展示、图片混排文本、链接嵌套、基础反爬限制等问题给出完整解决方案。项目采用模块化开发思路代码耦合度低仅需修改页面定位规则与 URL 地址即可快速适配不同行业、不同架构的产品官网具备极强的复用性与拓展性。一、项目前期准备与整体架构1.1 业务场景与采集字段定义产品官网普遍采用首页 - 产品列表页 - 产品详情页三级页面结构部分大型企业会划分产品分类、子品类、系列版本形成多层级页面体系。结合通用业务需求本次爬虫核心采集字段定义如下产品分类、产品名称、产品副标题、核心功能、产品参数、应用场景、产品简介、官方链接、采集时间。所有内容均为官网公开展示信息采集行为严格遵循网站 robots 协议与网络使用规范。本项目覆盖三类典型抓取场景单产品详情页定向抓取、整站产品列表批量抓取、多级分类页面全品类遍历抓取由浅入深完成功能迭代适配不同复杂度的产品官网。1.2 依赖库功能说明与环境部署本项目基于 Python 3.8 及以上版本运行所需依赖分为标准库与第三方库标准库随 Python 解释器自带第三方库需手动安装。各库功能与应用场景如下表所示表格库名称库类型核心功能应用场景requests第三方库发送 HTTP/HTTPS 请求获取页面源码访问官网首页、分类页、列表页、详情页等所有页面BeautifulSoup第三方库解析 HTML 标签提取文本与链接定位产品名称、介绍文本、参数列表、页面跳转链接lxml第三方库高性能 HTML 解析引擎提升复杂页面解析效率兼容不规则 HTML 代码fake-useragent第三方库随机生成浏览器请求头伪装客户端身份规避官网基础访问拦截re标准库正则匹配、文本替换与清洗清理冗余标签、空白字符、特殊符号拆分长文本内容csv标准库读写 CSV 表格文件结构化存储产品数据支持 Excel 直接查看与编辑os标准库文件与路径判断自动检测存储文件是否存在控制文件创建逻辑time标准库程序延时、时间格式化设置访问间隔、记录数据采集时间random标准库生成随机数值构造随机休眠时长模拟人工浏览行为若本地未安装对应第三方库打开终端、CMD 或开发工具内置终端执行以下安装命令网络访问缓慢时可切换国内镜像源加速plaintextpip install requests pip install beautifulsoup4 pip install lxml pip install fake-useragent执行pip list查看已安装库列表确认全部依赖部署完成后即可进入页面分析与代码开发环节。1.3 产品官网页面结构分析规则产品官网页面布局具备明显的行业共性在编写代码前需按照统一规则完成页面拆解分为四大分析环节 第一页面层级梳理。梳理官网页面跳转关系明确首页、产品分类页、产品列表页、产品详情页之间的跳转逻辑记录每一级页面的 URL 规则、链接提取位置。 第二静态 / 动态页面判定。绝大多数传统企业产品官网为纯静态 HTML 页面数据直接写入源码可通过 requests 直接抓取少数新型官网采用 AJAX 动态加载内容需额外抓包分析接口地址。本项目以主流静态官网为核心案例。 第三核心标签定位。使用浏览器 F12 开发者工具查看元素结构标记产品名称、简介、参数、功能、场景等字段对应的 HTML 标签名、class 属性、id 属性同时记录产品跳转链接所在标签位置。 第四访问限制分析。企业官网一般无高强度反爬策略仅校验 User-Agent 请求头部分网站会限制短时间高频访问需预留合理访问延时避免 IP 被临时限制访问。1.4 爬虫模块化架构设计结合多级页面抓取的业务特性本项目采用分层模块化架构将整体功能拆分为六大独立模块模块职责清晰、互不干扰便于调试、修改与功能拓展通用请求模块统一封装网络请求逻辑集成请求头伪装、超时控制、异常捕获、编码处理为所有页面访问提供统一调用接口。链接提取模块负责从分类页、列表页中提取产品详情页链接实现多级页面自动跳转。数据解析模块针对产品详情页编写解析规则拆分并提取所有预设字段的原始内容。文本清洗模块统一处理原始文本去除空白字符、冗余符号、换行分隔符标准化文本格式。数据存储模块封装 CSV 文件读写逻辑自动判断文件状态、管理表头、批量追加数据。主调度模块程序入口控制页面遍历、模块调用、流程流转、延时管理串联全部功能模块。二、基础实战单产品详情页数据抓取单产品详情页抓取是本项目的基础功能适用于仅需采集个别产品介绍信息的场景核心实现单页面请求、解析、清洗与存储全流程。2.1 详情页标签结构说明目标产品详情页为静态 HTML 页面页面核心内容容器为 class 名称product-main的 div 标签内部各字段布局规则如下产品名称位于 class 为product-title的 h2 标签产品副标题位于 class 为product-subtitle的 p 标签核心功能区域为 classproduct-function的 div 标签产品参数位于 classproduct-param的 div 标签应用场景位于 classproduct-scene的 div 标签产品简介位于 classproduct-desc的 div 标签。页面标签层级固定无嵌套混乱问题适合直接通过标签定位提取内容。2.2 单产品抓取完整代码python运行import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import re import csv import time import random import os # 全局初始化配置 ua UserAgent() # 目标产品详情页地址 target_detail_url https://xxx.com/product/detail/1001 # 数据存储文件路径 save_file 单产品介绍数据.csv # 1. 通用网络请求函数 def get_page_source(url): 发起GET请求获取网页源码 :param url: 目标页面地址 :return: 页面源码字符串请求失败返回None headers { User-Agent: ua.random, Accept: text/html,application/xhtmlxml,application/xml;q0.9, Accept-Language: zh-CN,zh;q0.9 } try: response requests.get(urlurl, headersheaders, timeout15) response.encoding utf-8 if response.status_code 200: return response.text else: print(f页面访问失败状态码{response.status_code}) return None except Exception as e: print(f网络请求异常{str(e)}) return None # 2. 通用文本清洗函数 def clean_content(raw_text): 清洗网页原始文本去除空白字符与冗余符号 :param raw_text: 原始文本内容 :return: 清洗后的标准文本 if not raw_text: return # 去除换行、制表符、多段空格 text re.sub(r[\n\r\t], , raw_text.strip()) # 合并连续多个空格为单个空格 text re.sub(r\s, , text) return text # 3. 产品详情页解析函数 def parse_detail_page(html, page_url): 解析详情页源码提取结构化产品数据 :param html: 页面源码 :param page_url: 当前页面链接 :return: 产品数据字典 product_data {} soup BeautifulSoup(html, lxml) main_container soup.find(div, class_product-main) if not main_container: return None # 提取产品名称 title_tag main_container.find(h2, class_product-title) product_data[产品名称] clean_content(title_tag.get_text()) if title_tag else # 提取产品副标题 sub_tag main_container.find(p, class_product-subtitle) product_data[产品副标题] clean_content(sub_tag.get_text()) if sub_tag else # 提取核心功能 func_tag main_container.find(div, class_product-function) product_data[核心功能] clean_content(func_tag.get_text()) if func_tag else # 提取产品参数 param_tag main_container.find(div, class_product-param) product_data[产品参数] clean_content(param_tag.get_text()) if param_tag else # 提取应用场景 scene_tag main_container.find(div, class_product-scene) product_data[应用场景] clean_content(scene_tag.get_text()) if scene_tag else # 提取产品简介 desc_tag main_container.find(div, class_product-desc) product_data[产品简介] clean_content(desc_tag.get_text()) if desc_tag else # 记录官方链接与采集时间 product_data[官方链接] page_url product_data[采集时间] time.strftime(%Y-%m-%d %H:%M:%S, time.localtime()) return product_data # 4. 数据写入CSV文件函数 def save_to_csv(data, file_path): 将产品数据写入CSV文件自动管理表头 :param data: 产品数据字典 :param file_path: 存储文件路径 csv_header [产品名称, 产品副标题, 核心功能, 产品参数, 应用场景, 产品简介, 官方链接, 采集时间] # 判断文件是否存在不存在则新建并写入表头 file_exist os.path.exists(file_path) with open(file_path, a, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnamescsv_header) if not file_exist: writer.writeheader() writer.writerow(data) # 5. 单产品抓取主函数 def single_product_spider(): print(开始抓取单产品官网介绍数据......) # 获取页面源码 page_html get_page_source(target_detail_url) if not page_html: print(页面源码获取失败任务终止) return # 解析数据 result_data parse_detail_page(page_html, target_detail_url) if not result_data: print(未解析到有效产品数据) return # 存储数据 save_to_csv(result_data, save_file) print(单产品数据抓取完成) # 打印采集结果 for key, value in result_data.items(): print(f{key}{value}) # 程序入口执行 if __name__ __main__: single_product_spider()2.3 代码模块原理详解2.3.1 网络请求模块原理get_page_source作为通用请求方法整合多组标准浏览器请求头完整还原正常客户端的访问特征规避官网基础拦截。timeout15设置 15 秒请求超时时间防止网络卡顿导致程序卡死。通过try...except捕获网络中断、连接失败等异常保证程序健壮性。手动指定编码为 utf-8统一解决国内官网中文乱码问题。2.3.2 文本清洗模块原理产品官网的介绍文本普遍存在大量换行、制表符、连续空格直接提取会导致内容格式混乱。clean_content函数通过两层正则处理文本第一层移除所有换行与制表符第二层将多个连续空格合并为单个空格最终输出排版整洁的纯文本。该函数为全局通用方法所有文本提取环节统一调用保证全字段格式标准统一。同时增加空值判断避免空文本触发正则异常。2.3.3 页面解析模块原理parse_detail_page依托 BeautifulSoup 搭配 lxml 解析引擎按照标签 类名的组合方式逐层定位内容容器与子字段。采用find方法获取单个标签适配单产品详情页的布局特征。每一个标签提取环节都增加判空逻辑当页面字段缺失、标签结构临时变更时自动赋值空字符串不会触发程序报错。代码中额外记录页面原始链接与系统采集时间方便后期数据溯源与版本区分。time.strftime将时间戳转换为标准可读时间格式满足数据管理需求。2.3.4 文件存储模块原理save_to_csv结合 os 库的文件判断功能自动检测目标文件是否存在文件不存在时创建文件并写入表头文件已存在时直接追加数据彻底替代手动标记表头的方式提升代码自动化程度。文件编码设置为utf-8-sig完美兼容 Windows 系统下 Excel 软件newline消除 CSV 文件多余空行。使用csv.DictWriter直接写入字典数据字段与表头一一对应结构清晰。2.3.5 主调度模块原理主函数按照「请求页面→解析内容→清洗数据→写入文件」的标准链路执行每一步都做有效性校验一旦环节执行失败立即终止当前任务并输出提示信息便于快速定位问题。采集完成后循环打印所有字段内容实现本地数据核验。2.4 单页面抓取常见故障及解决方案结合产品官网运行场景整理高频问题、成因与处理方案如下表所示表格故障现象故障原因解决方案页面返回 403 禁止访问请求头缺失网站识别为爬虫补充 Accept、Accept-Language 等请求头使用随机 UA提取内容为空标签 class 名称大小写错误、页面结构改动重新核对开发者工具内标签属性修正定位规则文本存在大量换行空格未执行文本清洗逻辑统一调用 clean_content 函数处理原始文本Excel 打开 CSV 乱码文件编码设置错误固定使用 utf-8-sig 编码写入文件程序长时间无响应未配置请求超时参数在 requests.get 中添加 timeout 超时限制三、进阶实战产品列表页批量抓取多数企业官网会将所有产品汇总在产品列表页每条产品条目附带跳转至详情页的链接。本节在单页面抓取代码基础上迭代功能实现列表页提取链接→循环访问所有详情页→批量采集存储的全自动化流程适用于整站产品批量抓取场景。3.1 列表页结构分析产品列表页主体容器为 class 名称product-list的 div 标签每一个产品条目为 classlist-item的子 div 标签产品名称位于条目内 a 标签该标签同时携带详情页相对链接。列表页无分页一次性展示全部产品仅需一轮解析即可提取所有详情链接。网站访问频率限制为单秒单次访问批量抓取必须添加随机延时。3.2 列表页批量抓取完整代码python运行import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import re import csv import time import random import os # 全局配置 ua UserAgent() # 产品列表页地址 list_page_url https://xxx.com/product/list # 数据存储文件 batch_save_file 产品列表批量数据.csv # 通用网络请求函数 def get_page_source(url): headers { User-Agent: ua.random, Accept: text/html,application/xhtmlxml,application/xml;q0.9, Accept-Language: zh-CN,zh;q0.9 } try: response requests.get(urlurl, headersheaders, timeout15) response.encoding utf-8 if response.status_code 200: return response.text else: print(f页面访问失败状态码{response.status_code}) return None except Exception as e: print(f网络请求异常{str(e)}) return None # 通用文本清洗函数 def clean_content(raw_text): if not raw_text: return text re.sub(r[\n\r\t], , raw_text.strip()) text re.sub(r\s, , text) return text # 解析列表页提取所有产品详情链接 def get_detail_links(list_html): 从产品列表页提取全部详情页链接 :param list_html: 列表页源码 :return: 完整链接列表 link_list [] soup BeautifulSoup(list_html, lxml) list_container soup.find(div, class_product-list) if not list_container: return link_list # 获取所有产品条目 item_list list_container.find_all(div, class_list-item) base_domain https://xxx.com for item in item_list: a_tag item.find(a) if a_tag and a_tag.get(href): # 拼接完整URL relative_link a_tag.get(href) full_link base_domain relative_link link_list.append(full_link) return link_list # 产品详情页解析函数 def parse_detail_page(html, page_url): product_data {} soup BeautifulSoup(html, lxml) main_container soup.find(div, class_product-main) if not main_container: return None title_tag main_container.find(h2, class_product-title) product_data[产品名称] clean_content(title_tag.get_text()) if title_tag else sub_tag main_container.find(p, class_product-subtitle) product_data[产品副标题] clean_content(sub_tag.get_text()) if sub_tag else func_tag main_container.find(div, class_product-function) product_data[核心功能] clean_content(func_tag.get_text()) if func_tag else param_tag main_container.find(div, class_product-param) product_data[产品参数] clean_content(param_tag.get_text()) if param_tag else scene_tag main_container.find(div, class_product-scene) product_data[应用场景] clean_content(scene_tag.get_text()) if scene_tag else desc_tag main_container.find(div, class_product-desc) product_data[产品简介] clean_content(desc_tag.get_text()) if desc_tag else product_data[官方链接] page_url product_data[采集时间] time.strftime(%Y-%m-%d %H:%M:%S, time.localtime()) return product_data # 数据写入CSV函数 def save_to_csv(data, file_path): csv_header [产品名称, 产品副标题, 核心功能, 产品参数, 应用场景, 产品简介, 官方链接, 采集时间] file_exist os.path.exists(file_path) with open(file_path, a, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnamescsv_header) if not file_exist: writer.writeheader() writer.writerow(data) # 批量抓取主函数 def batch_product_spider(): print(产品列表批量抓取任务启动......) # 第一步获取列表页源码 list_html get_page_source(list_page_url) if not list_html: print(产品列表页访问失败任务终止) return # 第二步提取所有详情链接 detail_links get_detail_links(list_html) if not detail_links: print(未提取到任何产品链接) return total_num len(detail_links) print(f共识别到{total_num}个产品开始逐个采集数据) # 第三步循环遍历所有详情链接 for index, link in enumerate(detail_links): print(f\n正在采集第{index 1}/{total_num}个产品链接{link}) try: detail_html get_page_source(link) if not detail_html: print(当前产品页面访问失败自动跳过) time.sleep(random.uniform(2, 4)) continue product_info parse_detail_page(detail_html, link) if not product_info: print(当前产品无有效数据自动跳过) time.sleep(random.uniform(2, 4)) continue # 写入数据 save_to_csv(product_info, batch_save_file) print(f第{index 1}个产品采集完成) except Exception as e: print(f采集出现未知异常{str(e)}跳过当前产品) # 随机延时控制访问频率 sleep_time random.uniform(2, 4) time.sleep(sleep_time) print(f延时{round(sleep_time, 2)}秒准备下一个产品) print(\n 所有产品数据批量采集完成 ) if __name__ __main__: batch_product_spider()3.3 批量抓取新增功能原理3.3.1 链接提取逻辑原理get_detail_links函数专门解析产品列表页使用find_all获取全部产品条目标签遍历条目提取 a 标签内的相对链接。由于官网链接多为相对路径代码中配置网站根域名与相对链接拼接生成完整可访问 URL这是处理网站相对链接的通用方案。最终将所有详情链接存入列表为循环抓取提供数据源。3.3.2 循环遍历与进度展示原理主函数通过for循环搭配enumerate遍历链接列表同步获取索引与链接地址索引用于展示当前采集进度与总数量直观反馈任务运行状态。代码首先校验链接列表是否为空避免无效循环执行。3.3.3 多层异常防护原理批量任务设置两层异常防护第一层为流程判断页面访问失败、解析无数据时直接跳过当前产品并执行延时第二层为全局try...except捕获未知异常应对页面结构突变、网络突发故障等问题保证单个产品异常不会导致整体任务中断。3.3.4 频率控制原理针对官网访问频率限制在每一个产品采集完成后设置2-4 秒随机延时打破固定访问节奏模拟人工逐个浏览产品的行为模式从根源上规避基于访问频率的风控拦截。延时区间可根据网站防护强度灵活调整。3.4 分页列表页拓展实现部分产品列表页采用分页展示模式URL 格式为https://xxx.com/product/list?page1、https://xxx.com/product/list?page2。仅需在主函数中增加页码循环遍历所有分页地址依次提取每页产品链接即可实现分页产品全量抓取。核心代码片段如下python运行# 分页批量抓取主函数 def page_list_spider(): all_links [] start_page 1 end_page 5 for page in range(start_page, end_page 1): page_url fhttps://xxx.com/product/list?page{page} page_html get_page_source(page_url) if not page_html: continue links get_detail_links(page_html) all_links.extend(links) time.sleep(random.uniform(2, 3)) # 遍历全部链接执行采集逻辑 for link in all_links: # 原有解析、存储、延时逻辑 pass四、高阶实战多级分类产品全站抓取大型企业产品官网会设置一级分类 - 二级分类 - 产品列表 - 产品详情四级页面架构本节实现全站多级分类自动遍历完成全品类产品介绍数据抓取适用于大型综合类产品官网。4.1 多级页面跳转逻辑分类首页提取所有一级产品分类链接一级分类页提取对应二级子分类链接二级分类页提取该分类下所有产品列表链接产品列表页提取详情页链接最终完成数据采集。整体采用嵌套循环模式逐层向下遍历实现全站自动化抓取。4.2 多级分类核心代码片段python运行# 提取一级分类链接 def get_first_class_links(html): link_list [] soup BeautifulSoup(html, lxml) class_box soup.find(div, class_first-class) if not class_box: return link_list a_tags class_box.find_all(a) base_url https://xxx.com for a in a_tags: href a.get(href) if href: link_list.append(base_url href) return link_list # 提取二级分类链接 def get_second_class_links(html): link_list [] soup BeautifulSoup(html, lxml) second_box soup.find(div, class_second-class) if not second_box: return link_list a_tags second_box.find_all(a) base_url https://xxx.com for a in a_tags: href a.get(href) if href: link_list.append(base_url href) return link_list # 全站多级抓取主函数 def full_site_spider(): home_url https://xxx.com/product home_html get_page_source(home_url) first_links get_first_class_links(home_html) for first_link in first_links: print(f正在访问一级分类{first_link}) first_html get_page_source(first_link) second_links get_second_class_links(first_html) for second_link in second_links: print(f进入二级分类{second_link}) list_html get_page_source(second_link) detail_links get_detail_links(list_html) # 遍历详情链接执行采集 for link in detail_links: detail_html get_page_source(link) data parse_detail_page(detail_html, link) if data: save_to_csv(data, 全站产品数据.csv) time.sleep(random.uniform(2, 4)) time.sleep(random.uniform(3, 5)) print(全站产品抓取完成)4.3 多级抓取核心要点多级页面抓取的核心是嵌套循环 分层链接提取每一级页面单独编写链接提取规则层级之间通过循环串联。同时增大层级跳转之间的延时区分页面跳转延时与产品访问延时进一步模拟人工浏览路径提升爬虫稳定性。该架构可无限拓展层级适配超复杂产品官网。五、数据深度清洗、多格式存储与功能优化5.1 产品内容专项清洗方案产品官网内容存在参数表格、分段说明、冗余广告文本、版本备注等特殊内容在基础清洗之上增加专项处理规则参数拆分处理产品参数多为键值对格式使用正则表达式拆分参数名称与参数值单独存储为两列字段便于后期统计分析。冗余内容过滤通过正则匹配过滤 “咨询客服”“立即购买” 等营销类无效文本保留纯产品介绍内容。超长文本分段对于字数较多的产品简介、应用场景按照固定字符长度自动分段提升阅读体验。重复内容去重同系列产品存在重复介绍文本基于产品名称 简介字段做去重处理避免数据冗余。5.2 多元化存储方案拓展JSON 文件存储适合程序二次调用、接口对接场景使用json.dump写入数据设置ensure_asciiFalse保证中文正常显示。纯文本文件存储仅需保存产品介绍原文时使用 txt 文件按产品分类分文件存储便于文档整理。数据库存储全站千条以上产品数据使用 pymysql 连接 MySQL 数据库创建产品信息数据表支持条件查询、分类筛选、数据统计。5.3 爬虫功能优化方向断点续采记录已采集完成的链接程序中断后从断点继续执行避免重复抓取。异步采集引入 aiohttp 异步请求库提升大批量产品的抓取效率。代理 IP 拓展针对访问限制严格的官网接入代理 IP 池轮换 IP 完成全站抓取。增量采集定期对比历史数据仅抓取新增、更新的产品内容减少重复请求。日志系统添加完整日志记录抓取时间、成功数量、异常链接方便长期运维。六、项目总结与拓展方向6.1 项目总结本项目完整实现了产品官网介绍数据的抓取功能从单产品详情页、普通列表页、分页列表页到多级分类全站抓取覆盖市面上绝大多数企业产品官网的页面架构。项目融合静态页面解析、链接提取、多级页面遍历、文本多级清洗、自动化文件存储、分层异常处理、频率防爬等核心爬虫技术。代码采用模块化设计功能拆分明确复用性极强开发者仅需修改标签定位规则、URL 地址、正则表达式即可快速适配电子、机械、软件、建材、日用品等不同行业的产品官网。整套方案兼顾入门学习与商业落地采集的数据可直接服务于竞品分析、内容运营、行业调研、知识库搭建等多项业务。