很多时候我们需要爬取网页并且获取页面上的特定内容，不一定是做坏事比如爬取竞争对手的数据。也许我想定期爬自己的网站，找到页面上的链接，并且看它们指向的网页是不是都还可以访问。爬到一个网页，为了获得上面所有的链接，我以前首先想到的是用正则表达式。但是 HTML 并不一定是良构的 XML （如果每个人都用 XML 的标准写 HTML，那我们直接用标准的 XML parser 就好了），写正则表达式的时候你需要考虑大小写、换行、单引号/双...