淘宝搜索 -- IT技术博客大学习 -- 共学习共进步！

• 霜波说心理学 ― 情绪

开场之前让大家思考一个问题：“情绪的作用是什么？” 之前看了很多情商的书：“告诉我们要识别情绪，要控制情绪，要识别别人的情绪，控制别人的情绪，要人不知而不愠。”总觉得少了点什么，后来发现，没有人告诉我：“情绪的作用是什么？” 对情绪作用的认识直接影响你面对情绪的处理方法。情绪分为2中，正面情绪和负面情绪。正面情绪就是感觉好的情绪，于是人人都喜欢，负面情绪恰恰相反，感觉不好，人人都不喜欢。自己不喜欢也...

• Treelink算法介绍

“机器学习”这个名词对大家来说想必不是一个陌生的词汇，特别对算法组的同学来说，工作中或多或少接触使用过这种“高科技“。对于我来说，刚来淘宝工作一个月就开始接触了机器学习，当时做主搜索功夫熊猫项目，和小致飘雪一起做交易模型，正是使用了机器学习的方法，也首次接触了treelink模型。做完那个项目后对机器学习解决问题的流程有了一定的了解，但对其内部的工作原理和...

• Hadoop Job Tuning

Hadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。 Job Tracker Related 严格来说，下面这个配置项，是决定HDFS文件block数量的多少(也就是文件个数...

• 解读Google分布式锁服务

在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索引库Join，得到最新的索引数据。采用新的索引更新系统之后，数据的生命周期缩短了50%，所谓的数据生命周期是指，数据从网页上爬下...

• 数组的优化循环展开与分割

数组的循环与分割，利用了计算机系统的两个特点： 1. 有多块高速缓存; 2. Cpu是可以多指令并行执行（要求多条指令之间没有数据相关性）。在我们的例子中：数组切分: 将1个数组切分为2个数组。这样就能用2块高速缓存来存数据，高速缓存的访问速度是内存的 10倍以上循环展开: 我们将的步进设置为4,每次处理的数据之间没有任何关系，这样就能并行执行起来。数据无关性: 就是下一次计算指令不受之前执行指令的结果影响。在我...

• 前端开发中的性能那点事（二）巧用curl 并发减少后端访问时间

前言：在我们平时的程序中难免出现同时访问几个接口的情况，而且用老的curl进行访问的时候，一般都是单个、顺序访问，假如有3个接口，每个接口耗时500毫秒那么我们三个接口加起来就是1500毫秒了，这个问题太头疼了，严重影响了页面访问速度，有没有可能并发访问来提高速度呢？今天就简单的说一下，利用curl并发来提高页面访问速度，希望大家多指导。 1、老的curl访问方式以及耗时统计 function curl_fetch($url, $timeout=3){ $ch...

• 前端开发中的性能那点事（一）巧用xdebug

前言：在我们平时的php开发中，一个大的项目经过长时间的积累以后你会发现性能越来越慢，而性能到底消耗在了什么地方，常常是一个令人头疼的问题，function a()调用了多少次，function b()又消耗了多少时间，我们到底怎么查找是哪个蛀虫拉慢了我们的程序运行速度呢？在这里给大家介绍一款工具xdebug，相信很多人已经听说过了，希望借助这个工具我们可以起到简单分析php程序性能瓶颈的问题。 A)假设1，假设用户目录在/home/ad B)假...

• Web性能优化中的CPP方法

毋庸置疑，Web性能优化是最近几年非常热门的话题。从Yahoo!在2006年推出YSlow以及相应的14的军规，到今年领军人物Steve Souder提出WPO的概念。几年时间里，网站性能重要性的概念已经深入人心，除一线的工程师，包括产品经理以及管理层纷纷加入其中，推进页面性能优化。大家普遍认为：性能好的网站，能吸引更多的用户，提供更好的用户体验，增加收入，并且降低成本。那么如何才能做好性能优化工作？Steve的两本书：《High Performa...

• 如何在Hadoop集群运行jni程序

笔者通过jni技术，将ws分词包成功的运行在hadoop集群，大大提升了数据挖掘的能力。本文将技术架构和细节呈现给读者。

• NoSQL数据库:MongoDB初探

跟着时下炒得火热的NOSQL潮流，学习了一下mongodb，记录在此，希望与感兴趣的同学一起研究！ MongoDB概述 mongodb由C++写就，其名字来自humongous这个单词的中间部分，是由10gen开发并维护的,关于它的一个最简洁描述为：scalable, high-performance, open source, schema-free, document-oriented database。MongoDB的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两...

• 从“非诚勿扰”看淘宝算法效果测试

大家应该都了解最近被讨论的热火朝天甚至有些过气的相亲节目“非诚勿扰”。这个节目让我们看到人性的差别，增加了我们茶余饭后的话题，也让我们了解到现在找对象是多么困难的一件事：24名佳丽争抢一位男嘉宾。经过一段时间的观看，我们甚至可以从技术的角度去分析这个节目成功的原因。