网络上越来越多的站长在使用采集系统进行网站采集。如何应对这样的采集成为一个很棘手的问题。先前写过一篇怎样防止网站被采集的的文章，但是中间提到的方法感觉不是非常的适用。 正常的搜索引擎抓取页面可以使用robots.txt来进行屏蔽，比如万恶的雅虎，流量和不带过来，确是爬的最勤快的，大量的暂用服务器资源。 防采集主要防止的是那些除搜索引擎外的抓取行为，即除搜索引擎外的非人为访问。

    网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。 我们看一下crawler一般会遇到什么样的问题吧： 抓取的网页量很大 网页更新量也很大，一般的网站，比如新闻，电子商务网...

    CPU时间采集从10G开始，oracle引入了时间模型，我们可以从oracle的角度来看CPU的使用程度先说说几个概念 db time:oracle数据库消耗的时间，这个范围比较大，包括了CPU使用，等待IO子系统返回，网络处理等 db cpu：指oracle单纯消耗CPU，做CPU运算的时间，关于IO,网络的等待都不在这个范围内，用它来统计真实CPU的消耗比较准确 CPU TIME:这个是我取的名字，表示CPU能给你提供的最大时间，比如你有4个cpu/core，那么1小时内，CPU T...

    

引用之所以可以提高速度，尤其是字符串很大的时候，因为引用并不是把一个字符串赋值给另外一个变量，而是直接引调用原有的数值，只是调用的原有数值的地址，所以省去了付给变量的时间/空间成本。 尤其在大数据了的时候，以用的效果是非常明显的。

    1、应用程序（比如PHP）长时间的执行批量的MYSQL语句。最常见的就是采集或者新旧数据转化。解决方案：在my.cnf文件中添加或者修改以下两个变量：wait_timeout=2880000interactive_timeout = 2880000 关于两个变量的具体说明可以google或者看官方手册。如果不能修改my.cnf，则可以在连接数据库的时候设置CLIENT_INTERACTIVE，比如：sql = "set interactive_timeout=24*3600";mysql_real_query(...)2、执行一个SQL，但SQL语句过大...

    Snoopy是一个php采集类，用来模拟浏览器获取网页内容和发送表单。下面是一些Snoopy特性： 容易抓取网页内容容易抓取页面文本（去除HTML标签）容易抓取网页内链接支持代理抓取支持基本的用户名、密码认证支持设置user-agent，referer，cookies和header内容支持浏览器转向，和控制转向深度能把页面中的链接转化成高质量的链接容易提交数据和获得返还值能追踪HTML框架支持重定向的时候传递Cookies Snoopy类，方法： fet...

    cURL 是一个支持包括HTTP、FTP、TELNET等多种协议使用URL语法规定来传输文件和数据的工具。令人高兴的是，cURL（supported by PHP）被PHP支持。下面将介绍一些在PHP中使用cURL的方法。为什么要使用cURL $content = file_get_contents("http://www.biaodianfu.com");   // or   $content = file("http://www.biaodianfu.com");   // or   $content = readfile("http...

    简介：支持 歌名+歌手 此方式下载，所以支持百度mp3（新歌TOP100、歌曲TOP500、经典老歌、热门对唱、相声小品荟萃、摇滚歌曲榜）下载。在网上没找到php cli方式的下载百度mp3的脚本，很奇怪，php挺流行就是cli方式却很少，安全问题，效率问题？个人还是挺喜欢这种方式的。比如批量的图片缩放，合并，用 ImageMagick 比 GD 效率好多了，而且功能也多，但需要安装插件，太麻烦，直接用system调用ImageMagick，方便又灵活，perl ，p...