性能测试（模拟）

5.5 示例项目：优化网页爬虫

网页爬虫看似简单：抓取页面、解析 HTML、提取数据。但当你扩展到少量 URL 之外时，性能陷阱就会显现。同步请求会被网络延迟阻塞，解析器的使用效率低下，并且缺少重试逻辑。Claude Code 能帮助你推理这些权衡，将一个简单的爬虫演进成高效、健壮的管道，同时不牺牲代码的清晰度。在本节中，你将构建一个基线爬虫，然后使用并发、连接复用、合理的超时设置、退避策略以及更快的解析来优化它——全部以简洁、可运行的 Python 代码呈现。

概念阐述

爬虫中最大的性能提升来自于减少每次请求的浪费时间并增加安全的并行度。请求应尽可能共享连接，使用超时快速失败，并对瞬时错误采用退避策略进行重试。解析应避免重复工作并使用高效的库。并发必须加以限制，以尊重远程服务器和自身系统的限制。Claude 在此工作流中的角色是突出代码阻塞的位置、哪些资源存在争用，以及哪些优化改变了渐近行为，哪些只是无关紧要的微秒级改进。

你将应用的优化路径遵循一个简单的弧线：从一个正确、可读的同步基线开始；从概念上衡量瓶颈（网络等待占主导）；然后引入有针对性的改进，同时保持代码清晰。每一次变更都应具有其独立的合理性和可测试性。

动手示例

下面是两个完整的程序。第一个是一个小而正确的基线，使用 requests 同步抓取少量页面，并用 BeautifulSoup 进行解析。第二个是优化版本，使用 aiohttp 实现并发 I/O、连接池、指数退避、有界并发、更快的解析以及结构化的错误处理。

基线：同步爬虫