使用python/casperjs编写终极爬虫-客户端App的抓取
这篇讲的是在JavaScript动态渲染盛行的今天，如何有效抓取那些传统爬虫无能为力的“客户端App”型网页。作者以自动化获取Google Adwords关键词搜索量为实际案例，详细对比了两种实现路径。 文章首先回顾了经典的Selenium WebDriver方案。它像一位稳重的老兵，功能全面，能操控真实浏览器。作者分享了在无图形界面的服务器上配置它的技巧，并演示了如何通过分析页面结构、模拟登录、处理动态等待（如`implicitly_wait`）来一步步完成任务，最后用XPath提取出结果。方案虽可靠，但步骤相对繁琐。 随后，作者转向更现代的JavaScript Headless方案，重点介绍了CasperJS（基于PhantomJS）。这条路子轻快灵活，执行速度可达Selenium的三倍，代码也更直观——可以直接在浏览器控制台逻辑下编写。作者用它演示了几乎相同的功能，但指出CasperJS在进程间通信（IPC）方面存在局限。 最终，文章提供了一个完整的CasperJS爬虫脚本示例，读者替换账号即可运行。对于需要应对复杂JavaScript渲染的爬虫场景，这篇文章提供了从传统到现代的清晰路线图和实用代码。