第 20 章 爬虫与自动化本章学习目标使用 httpx 异步客户端高效抓取网页使用 BeautifulSoup 解析静态 HTML 页面使用 Playwright async 处理 JavaScript 动态渲染页面实现限速、并发控制和代理轮换理解反爬机制并采用合规的规避策略尊重 robots.txt 和网站服务条款20.1 爬虫工具选型类比：选爬虫工具像选交通工具——httpx 是自行车（轻快、适合短途），Playwright 是越野车（能到任何地方但费油），Scrapy 是货运列车（一次拉大量货物但需要铁轨）。工具适用场景优势局限httpx + BeautifulSoup静态 HTML 页面轻量、快速、低资源无法执行 JavaScriptPlaywright动态渲染页面（SPA）真实浏览器、自动等待