1. 项目缘起一个“懒人”玩家的自动化执念作为一个从学生时代就开始玩《梦幻西游》的老玩家我对藏宝阁的感情可以说是又爱又恨。爱的是它提供了一个官方、安全、便捷的交易平台让装备、召唤兽、角色这些虚拟资产有了流通的价值恨的是想在上面淘到一件真正性价比高的“宝贝”或者想精准把握自己号价的行情实在是太耗费精力了。每天手动刷新、筛选、比价眼睛都看花了还常常错过那些刚上架就被秒的“漏”。更别提想分析某个服务器、某个门派的装备价格走势了纯靠人肉记录几乎不可能。这种重复、低效的“体力活”让我这个搞技术出身的玩家浑身难受。于是一个念头就冒了出来能不能写个脚本让电脑自动帮我盯着藏宝阁把数据抓下来再帮我分析分析这就是这个“梦幻西游藏宝阁爬虫脚本”项目的初衷。它不是什么高大上的商业项目纯粹是一个玩家为了解放自己、提升“游戏效率”而折腾出来的个人工具。它的核心目标很简单自动化地、持续地从藏宝阁获取商品列表和详情数据并结构化地存储下来为后续的价格监控、行情分析、捡漏提醒提供数据基础。听起来好像和普通的网页爬虫没区别但做过的人都知道藏宝阁这种大型、动态、且有一定反爬机制的商业网站爬取起来处处是“惊喜”。接下来我就把自己从零搭建这个爬虫过程中趟过的坑、总结的经验以及最终稳定运行的方案毫无保留地分享出来。2. 核心挑战与爬虫策略选型在动手写代码之前我们必须先搞清楚目标网站的特点这直接决定了我们的技术路线。藏宝阁以网页版为例有以下几个显著特征让爬虫开发变得不那么简单动态内容加载商品列表和详情页的大量数据如价格、属性、公示期等是通过 JavaScript 异步请求通常是 XHR/Fetch从后端 API 获取的直接解析初始 HTML 是拿不到核心数据的。参数化与加密请求的 URL 和参数往往结构复杂包含时间戳、签名或其他动态生成的 token直接模拟浏览器点击生成的请求链接可能是一次性的无法复用。反爬虫机制作为重要的交易平台藏宝阁必然有基础的反爬措施可能包括请求频率限制、请求头校验如User-Agent,Referer、甚至验证码。过于频繁或异常的访问很容易被拦截。数据结构复杂一件装备的属性、一个召唤兽的技能和资质这些信息嵌套层次深字段多需要精细地解析和清洗。分页与筛选逻辑藏宝阁的筛选条件非常多等级、门派、价格区间、特技特效等爬虫需要能灵活地组合这些条件进行遍历并正确处理分页。面对这些挑战有两种主流的技术路线方案A模拟浏览器如 Selenium, Playwright直接启动一个无头浏览器像真人一样操作页面等待数据加载完成后再从 DOM 中提取。优点是绕过前端加密逻辑所见即所得缺点是资源消耗巨大内存/CPU、速度慢且浏览器特征明显在长时间、大规模爬取时不稳定容易被识别。方案B逆向分析接口 直接请求通过浏览器开发者工具的“网络Network”面板分析页面加载时发出的真实数据请求XHR/Fetch直接模拟这些 HTTP 请求来获取结构化的 JSON 数据。优点是高效、快速、节省资源请求更接近普通客户端易于控制频率缺点是需要花时间分析接口规律和参数构成如果接口有强加密或验证逆向难度会很高。对于一个需要7x24小时稳定运行、且对效率有要求的爬虫来说方案B是更专业和可持续的选择。因此我们的爬虫将基于此方案构建。核心思路是使用 Python 的requests库模拟网络请求用json解析数据用pandas或数据库进行存储并辅以一定的伪装策略来应对反爬。3. 逆向工程找到数据的大门这是整个项目最关键也最需要耐心的一步。我们的目标是找到那个返回商品列表和商品详情的“数据接口”。3.1 定位列表页接口打开藏宝阁网页版进入“装备”或“召唤兽”等分类设置好筛选条件比如“服务器生日快乐”“装备等级150”“特技罗汉金钟”然后点击搜索。立刻打开浏览器开发者工具F12切换到Network网络面板并勾选“Fetch/XHR”筛选器清空现有记录。观察列表加载时有哪些请求发出。你会看到一些名称可能包含list,search,query等关键词的请求。重点查看它们的Preview预览或Response响应标签页里面应该就是结构化的商品列表 JSON 数据。记录下这个请求的URL请求地址和Headers请求头特别是User-Agent,Referer,Cookie如果需要登录态以及任何看起来像自定义的头部如X-Requested-With。仔细分析Query String Parameters查询参数或Payload请求体。你会发现你的筛选条件服务器ID、等级、特技ID、价格范围、页码等都被编码成了特定的参数。例如pageNum1,pageSize20,equipLevel150,skillId10089罗汉金钟的特技ID。你的爬虫需要做的就是按照这个格式来构造请求参数。3.2 定位详情页接口点击列表中的某个商品进入详情页。同样在 Network 面板中寻找加载商品详细数据属性、熔炼、宝石等的 XHR 请求。这个接口的 URL 通常会包含商品的唯一 ID如id123456789。记录下这个接口的详细信息。3.3 参数解密与规律总结有时候参数可能是经过简单编码或加密的。你需要观察翻到第二页时哪些参数变了通常是pageNum或offset。改变筛选条件时对应的参数名和值是什么。时间戳_t或签名sign参数是如何生成的可能是当前时间戳或对某些参数进行 MD5 等运算的结果。这一步可能需要一些猜测和反复试验。注意逆向工程的目的在于学习网络通信原理请务必尊重网站的robots.txt协议并将爬虫请求频率控制在极低水平例如每分钟几次模拟人类浏览行为避免对服务器造成压力。本脚本仅用于个人学习与技术研究。4. 爬虫脚本核心实现详解假设我们已经分析出列表页接口为https://api.cbg.163.com/api/search详情页接口为https://api.cbg.163.com/api/detail。下面我们来构建核心代码。4.1 环境准备与依赖安装首先创建一个新的 Python 虚拟环境是个好习惯。然后安装必要的库pip install requests pandas schedule sqlalchemyrequests: 用于发送 HTTP 请求。pandas: 用于数据清洗、分析和临时存储DataFrame非常方便。schedule: 用于实现定时任务可选如果你想定时运行。sqlalchemy: 用于将数据持久化到数据库如 SQLite, MySQL。4.2 构建请求头与会话为了更像一个正常的浏览器我们需要精心构造请求头。使用Session对象可以自动管理 Cookies保持连接。import requests import time import json from typing import Dict, Any, List import pandas as pd class CbgSpider: def __init__(self): self.session requests.Session() # 核心伪装请求头 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://cbg.163.com/, # 关键表明请求来源 Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, # 可能需要的自定义头部根据实际分析添加 # X-Requested-With: XMLHttpRequest, } self.session.headers.update(self.headers) # 基础URL self.list_url https://api.cbg.163.com/api/search self.detail_url https://api.cbg.163.com/api/detail # 请求间隔防止过快 self.request_interval 3 # 秒 def _make_request(self, url: str, params: Dict[str, Any] None) - Dict[str, Any]: 发送请求并处理基础错误 try: time.sleep(self.request_interval) # 礼貌性等待 # 使用会话发送请求自动处理cookies resp self.session.get(url, paramsparams, timeout10) resp.raise_for_status() # 检查HTTP错误 # 假设返回的是JSON return resp.json() except requests.exceptions.RequestException as e: print(f请求失败: {url}, 错误: {e}) return {} except json.JSONDecodeError as e: print(fJSON解析失败: {url}, 响应内容: {resp.text[:200]}) return {}4.3 解析列表页与处理分页这是爬虫的主循环。我们需要根据筛选条件构造参数并处理分页直到没有数据。def fetch_item_list(self, search_params: Dict[str, Any], max_pages: int 10) - List[Dict[str, Any]]: 抓取商品列表 :param search_params: 搜索参数字典需根据逆向分析结果构造 :param max_pages: 最大爬取页数防止意外无限循环 :return: 商品基础信息列表 all_items [] page 1 base_params search_params.copy() # 避免修改原参数 while page max_pages: print(f正在抓取第 {page} 页...) # 更新页码参数参数名需根据实际情况调整例如可能是 page 或 pageNum current_params {**base_params, page: page, pageSize: 20} data self._make_request(self.list_url, paramscurrent_params) # 解析返回的JSON结构这里需要根据实际响应调整 # 例如数据可能在 data[list] 或 data[result][items] 下 items data.get(data, {}).get(list, []) if not items: print(f第 {page} 页无数据可能已到末页。) break for item in items: # 提取核心字段这里只是示例 simple_info { item_id: item.get(id), # 商品唯一ID用于后续抓详情 title: item.get(title), price: item.get(price), # 价格单位可能是分 server_name: item.get(serverName), seller_name: item.get(sellerName), onsale_time: item.get(onsaleTime), fetch_time: time.strftime(%Y-%m-%d %H:%M:%S) # 记录抓取时间 } all_items.append(simple_info) # 简单判断是否还有下一页可以根据返回的 totalPage 或 hasNext 字段 total_page data.get(data, {}).get(totalPage, 1) if page total_page: break page 1 print(f列表抓取完成共获取 {len(all_items)} 条商品概要。) return all_items4.4 抓取商品详情有了商品ID列表我们就可以并发或顺序地抓取详情。这里为了简单和稳定采用顺序请求。def fetch_item_detail(self, item_id: str) - Dict[str, Any]: 根据商品ID抓取详细信息 params {id: item_id} detail_data self._make_request(self.detail_url, paramsparams) # 详情数据结构更复杂需要深度解析 detail_info detail_data.get(data, {}) # 这里以装备为例提取关键属性 equip_info { item_id: item_id, detail_fetch_time: time.strftime(%Y-%m-%d %H:%M:%S), basic_attr: detail_info.get(basicAttr), # 基础属性伤害、命中、防御等 extra_attr: detail_info.get(extraAttr), # 附加属性力量、敏捷等 special_effects: detail_info.get(specialEffects), # 特技特效 gem_info: detail_info.get(gemInfo), # 宝石信息 refine_info: detail_info.get(refineInfo), # 熔炼信息 durability: detail_info.get(durability), # 耐久度 # ... 其他任何你感兴趣的字段 } # 注意返回的可能是JSON字符串或嵌套字典需要进一步处理 return equip_info4.5 数据存储策略数据抓下来怎么存根据数据量和使用场景有几种选择CSV/Excel文件适合初期、小批量使用pandas的to_csv或to_excel方法简单直观。但不利于增量更新和复杂查询。SQLite数据库推荐个人使用轻量级单文件无需安装数据库服务。适合存储历史数据便于用 SQL 查询分析。MySQL/PostgreSQL数据库适合数据量大、需要远程访问功能强大支持并发和复杂操作。这里给出一个使用 SQLAlchemy 存储到 SQLite 的示例from sqlalchemy import create_engine, Column, Integer, String, Float, Text, DateTime from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker import datetime Base declarative_base() class CbgItem(Base): __tablename__ cbg_items id Column(Integer, primary_keyTrue, autoincrementTrue) item_id Column(String(50), uniqueTrue, nullableFalse, indexTrue) # 商品原始ID title Column(String(255)) price Column(Integer) # 以分为单位存储 server_name Column(String(100)) seller_name Column(String(100)) onsale_time Column(DateTime) fetch_time Column(DateTime) # 详情字段可以用JSON格式存储整个详情对象方便灵活 detail_json Column(Text) created_at Column(DateTime, defaultdatetime.datetime.now) # 初始化数据库连接 engine create_engine(sqlite:///cbg_data.db) Base.metadata.create_all(engine) Session sessionmaker(bindengine) def save_to_db(item_list, detail_dict): session Session() try: for item in item_list: # 检查是否已存在 existing session.query(CbgItem).filter_by(item_iditem[item_id]).first() detail detail_dict.get(item[item_id], {}) if existing: # 更新逻辑例如更新价格和详情 existing.price item[price] existing.detail_json json.dumps(detail, ensure_asciiFalse) existing.fetch_time datetime.datetime.strptime(item[fetch_time], %Y-%m-%d %H:%M:%S) else: # 新增逻辑 new_item CbgItem( item_iditem[item_id], titleitem[title], priceitem[price], server_nameitem[server_name], seller_nameitem[seller_name], onsale_timedatetime.datetime.strptime(item[onsale_time], %Y-%m-%d %H:%M:%S) if item[onsale_time] else None, fetch_timedatetime.datetime.strptime(item[fetch_time], %Y-%m-%d %H:%M:%S), detail_jsonjson.dumps(detail, ensure_asciiFalse) ) session.add(new_item) session.commit() print(f成功保存/更新 {len(item_list)} 条数据到数据库。) except Exception as e: session.rollback() print(f数据库操作失败: {e}) finally: session.close()5. 实战中的“坑”与优化策略脚本跑起来只是第一步让它稳定、可靠、长期地运行才是真正的挑战。下面是我踩过的一些坑和对应的解决方案。5.1 反爬应对从“裸奔”到“低调”问题1请求被拒绝返回403或非预期数据。原因缺少必要的请求头或User-Agent被识别为爬虫。解决完备的Headers确保User-Agent,Referer,Accept,Accept-Language等头部与真实浏览器一致。Referer尤其重要它告诉服务器请求是从哪个页面发起的。Cookie管理有些接口需要登录态。可以通过浏览器登录后手动复制Cookie字符串到爬虫的请求头中但注意 Cookie 会过期。更自动化的方式是使用requests.Session()对象它会在多次请求间保持 Cookie。对于需要登录的复杂场景可以考虑模拟登录流程分析登录接口但这难度和风险都更高。IP代理池如果你需要极高频率的抓取不推荐单一IP很容易被封锁。此时需要搭建或购买IP代理池在请求时随机切换IP。但对于个人低频抓取控制好频率通常不需要。问题2参数中有动态加密的sign或token。原因网站为了防止接口被随意调用会对参数进行签名。解决这是逆向工程中最难的部分。你需要仔细分析前端 JavaScript 代码通常是被混淆压缩过的找到生成签名的算法。可以使用浏览器开发者工具的Sources源代码面板搜索关键参数名如sign,token,_t然后一步步调试。有时算法可能很简单比如只是对参数排序后拼接再加盐做MD5有时会很复杂。如果无法破解爬虫可能就无法继续。5.2 稳定性保障错误处理与重试机制网络是不稳定的服务器也可能临时出错。一个健壮的爬虫必须有完善的错误处理。from tenacity import retry, stop_after_attempt, wait_exponential class RobustCbgSpider(CbgSpider): retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def _make_request_retry(self, url, params): 使用tenacity库实现带指数退避的重试 return self._make_request(url, params) def safe_fetch_list(self, search_params): try: return self.fetch_item_list(search_params) except Exception as e: print(f抓取列表发生严重错误参数: {search_params}, 错误: {e}) # 可以记录日志或者将失败的任务存入队列稍后重试 return []5.3 数据清洗与标准化藏宝阁返回的数据格式可能不统一特别是详情数据。价格单位确认价格单位是“分”还是“元”在存储和分析前统一。属性字段装备的属性伤害、命中、防御、魔力、力量等可能是一个字符串如“30魔力”需要正则表达式或字符串分割来提取数值和类型。特技特效通常是一个ID列表或名称列表需要映射成可读的文字。时间格式时间戳可能以毫秒或秒为单位需要转换成标准的datetime对象。5.4 定时任务与增量更新我们通常希望爬虫能定时运行比如每小时一次并且只抓取新上架或价格变动的商品。定时可以使用 Python 内置的schedule库或者更专业的APScheduler甚至是在服务器上用crontab定时执行脚本。增量在数据库表中为每个商品存储一个唯一ID藏宝阁的商品ID和最后更新时间。每次抓取时只处理那些ID不在库中或者更新时间晚于库中记录的商品。这需要列表接口能返回商品的更新时间字段。6. 从数据到价值简单的分析示例数据存好了怎么用这里举两个最简单的例子展示如何用pandas进行快速分析。import pandas as pd from sqlalchemy import create_engine # 从数据库读取数据 engine create_engine(sqlite:///cbg_data.db) df pd.read_sql_table(cbg_items, engine) # 示例1查看某个服务器150级刀剑的价格分布 # 假设 title 字段包含“刀”或“剑”且 detail_json 中有 equipLevel 字段 # 这里需要先解析 detail_json为简化假设我们已提取出 level 字段到 df[level] df_weapons df[(df[server_name] 生日快乐) (df[level] 150) (df[title].str.contains(刀|剑))] price_stats df_weapons[price].describe() # 计算均值、标准差、分位数等 print(f生日快乐服务器150级刀剑价格统计:\n{price_stats}) # 示例2找出性价比高的装备高属性价格相对低 # 假设我们已从 detail_json 中提取出总伤害初伤命中/3字段 total_damage df[price_yuan] df[price] / 100 # 转换单位为元 df[damage_per_yuan] df[total_damage] / df[price_yuan] # 按“每元伤害”降序排列找出性价比之王 best_value_items df.sort_values(bydamage_per_yuan, ascendingFalse).head(10) print(best_value_items[[title, price_yuan, total_damage, damage_per_yuan]])当然更复杂的分析可以包括价格走势图需要时间序列数据、不同特技的价值评估、跨服务器比价等等这取决于你积累的数据维度和分析目标。7. 法律、道德与风险的最后提醒在享受技术带来的便利时我们必须清醒地认识到边界。遵守robots.txt首先检查目标网站的robots.txt文件通常在网站根目录如https://cbg.163.com/robots.txt。它规定了哪些路径允许或禁止爬虫访问。尽管这不是法律文件但遵守它是行业惯例和道德要求。控制请求频率这是最重要的原则。你的爬虫行为不应该对藏宝阁的正常服务造成任何可感知的影响。将请求间隔设置得足够长比如每次请求间隔3-5秒以上绝对避免并发大量请求。你的目的是获取数据而不是攻击网站。尊重数据版权与用户隐私抓取的数据仅用于个人学习、研究和分析不得用于任何商业用途不得公开传播或出售不得用于骚扰其他用户。数据库中可能包含卖家昵称等信息应妥善保管。明确免责声明本脚本及相关技术分享仅供学习交流网络爬虫技术原理之用。使用者应对其行为负责因不当使用本脚本或相关技术产生的任何法律纠纷及后果与作者无关。写这个爬虫的过程更像是一个解谜和系统工程。从最初的网络抓包分析到参数逆向再到处理各种异常和反爬最后让整个流程稳定跑起来每一步都需要耐心和细心。最终当脚本安静地在服务器上运行每天自动为你收集市场数据而你只需要偶尔查看一下分析结果时那种“自动化”带来的成就感和便利才是这个项目最大的乐趣所在。技术终究是工具用它来提高我们生活的效率和质量才是正途。希望我的这些经验能帮你少走些弯路。
