IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:urllib2

共 2 篇相关文章

IT 累计浏览 2,363

urllib2源码解读三(探索OpenerDirector的add_handler)

这篇讲的是 urllib2 源码中 OpenerDirector 的 add_handler 方法如何实现 handler 的自动分类。文章接续了之前对 build_opener 的探讨,深入到 add_handler 的内部,揭示了它并非简单存储,而是根据每个 handler 实例所具有的方法,进行智能归类。 核心的实现思路非常巧妙:它不依赖显式的类型标识,而是通过解析 handler 方法名的结构来动态分类。具体来说,代码会遍历 handler 的所有方法,检查方法名是否包含特定模式,例如 `http_error_404` 或 `https_open`。它以第一个下划线为界,前半部分是协议(如 http、https),后半部分是条件(如 open、error_301)。根据这些解析出的信息,handler 会被分别注册到 `handle_open`、`handle_error`、`process_request`、`process_response` 这四个核心字典中,使得后续的网络请求调用链能高效、准确地匹配到对应的处理器。 这种基于“约定优于配置”的动态注册机制,让 handler 的功能与协议、状态码紧密绑定,既保持了扩展的灵活性,又确保了内部调用的有序性,是 Python 标准库设计中的一个典型范例。

IT 累计浏览 2,685

urllib2源码解读二(简单的urlopen)

这篇文章从大家最熟悉的 `urllib2.urlopen('http://python.org')` 这行代码出发,带我们潜入Python标准库的源码内部,探索一个简单HTTP请求背后的构建机制。 作者揭示了一个巧妙的设计:`urlopen` 在首次调用时,并不会重复创建连接对象,而是通过 `build_opener` 函数构建一个全局的 `_opener` 对象。后续的所有请求都复用这个对象,从而避免了频繁初始化的开销。这个 `_opener` 本质上是 `OpenerDirector` 的实例,它像一个项目经理,内部通过几个关键的字典(如 `process_request`、`handle_open`、`process_response`)来管理众多功能各异的“处理器”(handler)。 文章重点剖析了 `build_opener` 函数的运作:它先初始化一个 `OpenerDirector`,然后将一系列默认的 handler 类(如 `ProxyHandler`、`HTTPHandler` 等)注册进去。整个过程清晰地展现了 urllib2 高度模块化的架构——通过组合不同的 handler 来构建功能强大的 opener,使得网络请求的处理流程灵活且可扩展。这让读者不仅能看懂代码,更能理解其设计哲学。