数据抓取 -- IT技术博客大学习 -- 共学习共进步！

• 数据分析中位数的应用

怎么从一组数据中计算出这个分界点呢？下面提供两个参考的算法：平均数：是指一组数据中所有数据之和再除以数据的个数，它是反映数据集中趋势的一项指标。中位数：把一组数据按从小到大的顺序排列，在中间的一个数字(或两个数字的平均值)叫做这组数据的中位数。

• server日志的路径分析

web服务器包括很多，iis，apache，nginx等等。首先要搞清楚什么是服务器日志，因为今天小伙伴问我，日志是什么来的，是不是从数据库中来的？我想很多不懂技术的人对这个都不是很清楚，他是搞数据分析的，自然对技术不了解。

• 标准化之路：关于产品设计规范

互联网行业的产品设计规范，大概就是将产品的一切交互行为、视觉样式都要严格遵从可用性原则，并根据公司业务目标，制定出涵盖公司产品功能范围内的所有相关控件与相应的展示样式。这等于定义了如何帮公司设计出一个好的产品。无论你的网站或app多漂亮多流畅，却无法帮公司赚钱——穷死；产品只为了赚钱而忽略用户体验，那就缺乏竞争力，衰败也就是时间问题。这是老生常谈了。

• 更极致的搜索推荐——“去哪儿酒店”搜索体验【2013年9月版】

预订酒店的用户主要分两种，有明确目标的用户和没有明确目标的用户。本文分别从两种用户的角度分析去哪儿网为用户提供的酒店搜索服务。

• 产品的可用性、易用性、高效性

产品是用来帮助使用者完成任务，因此在把产品「做漂亮」之前，我们应该先仔细思考设计本身是否有帮助我们往「目标」迈进。阅读性质的App 本身就是要帮助使用者更方便的阅读部落格、新闻、杂志或是其他RSS，过于华丽的介面常常会影响阅读本身。

• 当你需要向用户解释时，就已经输了一半

比，你就已经输了一半。为什么这么说：因为无论是给消费者，还是投资人谈你的产品时，你都是拿对手的产品在讲，讲别人的缺点、讲自己的优点。你已经在无形中认可了对手的地位，而且给对手打广告。更为重要的是，当你需要向用户解释时，已经决定你要输了。特别是在“一切产业都是媒体业”的时代，需要解释的产品怎么让用户自传播，你的产品提供的信息恰恰是对手率先定位的，你怎么可能以一己之力修正用户已有的感知?产品或服务的优点不是你自己可以定义的，而是消费者对你产品和服务的感知，既然别人已经卡位了，你再要修正就太难了。

• 用户体验设计遇见色彩情感

每个人有自己所喜爱的音乐，同样每个人也有自己钟爱的色彩，每一种颜色都有一种寓意。色彩做为第一视觉语言，当人类初接触到一个事物产生第一印象时，色彩的吸引力往往高于其造型所产生的印象。适当的应用色彩能够增强画面感染力，提升产品印象与感觉，而不同的色彩常常左右了产品最终给人的感受。

• 网站十五种最差的用户体验

网站产品经理的重要职责之一是如何做好网站用户体验。不良的网站用户体验将严重影响网站的PV、回访率，使得跳出率剧增。那么，作为网站产品经理，网站策划人员应该如何去规避这些问题呢？

• 如何通过数据来指导产品进行优化

推荐理由：产品经理是一个公司不可或缺的职位，对数据的分析尤为重要。如何通过数据来指导产品进行优化也是产品经理必须要学习和研究的。本文结合作者在登录产品的体验优化中积累的一些实战经验，重现过程中的设计点滴，有效果明显的方案，也有效果不明显的优化尝试，最后将总结一些通用的设计思路。

• 浅析十三种常用的数据挖掘的技术

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。数据挖掘的任务是从数据集中发现模式，可以发现的模式有很多种，按功能可以分为两大类：预测性(Predictive)模式和描述性(Descriptive)模式。在应用中往往根据模式的实际作用细分为以下几种：分类，估值，预测，相关性分析，序列，时间序列，描述和可视化等。

• 数据化比大数据更靠谱

数据化的另一大关键，就是如何与(移动)互联网与物联网有效融合。因为目前为止，移动互联网为我们提供了最好的，与用户粘在一起并充分挖掘用户数据的机会。无论是移动、社交还是本地化，都释放出了海量的数据，也就有着重大的挖掘空间。

• 企业掘金大数据的两种选择

究竟如何才能把数据转化为利润呢？对大多数公司来说，有两种选择，一是数据导向的流程，二是数据导向的产品。如今，你到哪儿都能听到大数据。别说是亚马逊这样的公司，现在就是一个小的Startup，每天也能有几个G的数据量。而像Instagram 这样的照片分享网站，每天轻松就能产生出500T的数据量。不少企业的CEO们都会问一个问题：“好，现在我有这么多数据，下一步我该怎么做呢？”

• 创业的人招聘怎样的人靠谱？

联网行业创业的人真乃是前赴后继的进行着，创业不是你一个人在战斗，需要招聘员工，类型无外乎如下几种.......

• 受众人群分析

无论你做什么产品，首先要面对的问题就是受众人群。或者说做不同的项目主要的区别就是受众人群和业务的差别。在这里我不想把互联网项目和传统行业的项目做出区分，我觉得两者是相辅相成，不可分开独立来算的。从做产品的角度来看这个问题，我会把周期中60%的时间投入到对人群的分析中。为什么会花费如此多的时间，是因为方向是前提，是基础，值得付出这么多。而且这是一个不断迭代完善的过程。深刻的理解了用户的行为习惯和心理特征就已经是成功一半了。

• 新浪博客抓取程序(php)

很多社区论坛或者博客在初期上线时候会遇到没有内容的尴尬，索性他们就会去把别人的优质的内容整理放到自己的平台上，这个时候就会请技术人员写采集程序程序来完成这件事情，以前我在一家公司做产品，同事说做一个可以换点米，所以就写了好几个，后来没有了消息，想程序放着也放着，不如拿出来分享，下载地址：sina blog 采集程序，这是借用专业采集类snoopy写的，因为很多博客会禁止采集，所以用snoopy伪装客户端很方便。数据采集过来要交给编辑去整理发布，采集这么多的数据如何做好分类就是一件很有意义的事情了，编辑可以用这些内容分类汇总，把没有价值的内容去掉，所以数据仅仅采集过来是不够的，接下来就会涉及到数据的分类汇总，对内容进行过滤识别。

• 定律大全

1、蓝斯登原则：在你往上爬的时候，一定要保持梯子的整洁，否则你下来时可能会滑倒。提出者：美国管理学家蓝斯登。点评：进退有度，才不至进退维谷；宠辱皆忘，方可以宠辱不惊。2、卢维斯定理：谦虚不是把自己想得很糟，而是完全不想自己。提出者：美国心理学家卢维斯点评：如果把自己想得太好，就很容易将别人想得很糟。3、托利得定理：测验一个人的智力是否属于上乘，只看脑子里能否同时容纳两种相反的思想，而无...

• 互联网广告的发展史

昨天的培训结束之后，收获最大的是互联网广告行业的演变历史。虽然互联网的发展不过几十年，但互联网广告带来的利润却是惊人的。在互联网上衍生的广告形式是多元化，是传统广告形式无法做到的。如下只列举了广告大的发展形式，如果不足，请各位赐教，在此先谢。第一个阶段以yahoo,sohu,sina门户为代表的广告，最初的广告形式极为的简单，在yahoo的门户上面，挂一些商家的图片，...

• 变量引用可提供执行速度

引用之所以可以提高速度，尤其是字符串很大的时候，因为引用并不是把一个字符串赋值给另外一个变量，而是直接引调用原有的数值，只是调用的原有数值的地址，所以省去了付给变量的时间/空间成本。尤其在大数据了的时候，以用的效果是非常明显的。

• php导出excel文件

php导出excel文件

• 递归字符转义

这个ecshop里面的一个函数，感觉很好，再次跟大家分享。