您现在的位置：首页
--> 百度搜索研发部官方博客
Spider位于搜索引擎数据流的最上游，负责将互联网上的资源采集到本地，提供给后续检索使用，是搜索引擎的最主要数据来源之一。spider系统的目标就是发现并抓取互联网中一切有价值的网页，为达到这个目标，首先就是发现有价值网页的链接，当前spider有多种链接发现机制来尽量快而全的发现资源链接，本文主要描述其中一种针对特定索引页的链接补全机制，并给出对这种特定类型的索引页面的建议处理规范用于优化收录效果。
最近一直在做性能优化和模块化改造的工作，并完成了一次前端重构。在这里总结出一些经验和得失来帮助大家思考。共两篇文章，第一篇讨论性能优化，第二篇讨论模块化框架。而之所以把这两个话题放到一起，是因为这两项工作都涉及到对前端代码进行不同程度的重构，而且模块化改造其实是我们在对性能优化做到一定程度之后发现必须要做的一件事情。本篇是性能优化的部分，下面我把我们的产品简称为N页面。
摘要：对于一个大型网站来说，负载均衡是永恒的话题。随着硬件技术的迅猛发展，越来越多的负载均衡硬件设备涌现出来，如F5 BIG-IP、Citrix NetScaler、Radware等等，虽然可以解决问题，但其高昂的价格却往往令人望而却步，因此负载均衡软件仍然是大部分公司的不二之选。nginx作为webserver的后起之秀，其优秀的反向代理功能和灵活的负载均衡策略受到了业界广泛的关注。本文将以工业生产为背景，从设计实现和具体应用等方面详细介绍nginx负载均衡策略。关键字：nginx 负载均衡 反向代理 1.前言随着互联网信息的爆炸性增长，负载均衡（load balance）已经不再是一个很陌生的话题，顾名思义，负载均衡即是将负载分摊到不同的服务单元，既保证服务的可用性，又保证响应足够快，给用户很好的体验。快速增长的访问量和数据流量催生了各式各样的负载均衡产品，很多专业的负载均衡硬
数据挖掘、机器学习这些字眼，在一些人看来，是门槛很高的东西。诚然，如果做算法实现甚至算法优化，确实需要很多背景知识。但事实是，绝大多数数据挖掘工程师，不需要去做算法层面的东西。他们的精力，集中在特征提取，算法选择和参数调优上。那么，一个可以方便地提供这些功能的工具，便是十分必要的了。而weka，便是数据挖掘工具中的佼佼者。 Weka的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），是一款免费的，非商业化的，基于JAVA环境下开源的机器学习以及数据挖掘软件。它和它的源代码可在其官方网站下载。
在当前这个互联网业务飞速发展时期，新的产品如雨后春笋般涌出，老产品线新业务也在不断突破和尝试。这就对快速开发迭代提出了更高的要求。一、基础运行环境针对新产品的开发，必须能够快速搭建一套LAMP架构。那么无外乎选择一个webserver，选择一个php版本，选择一个mysql版本，再选择一个PHP开发框架和选择一些php通用扩展和基础库等。这个过程读者可能觉得已经很快了，能不能更快？选择的过程要求研发同学对相关技术方向有一定的积累，权衡利弊和优先点，又是一番调研和学习。如果有一键安装程序，提供自动化安装webserver，php，mysql，以及携带高性能灵活的php开发框架，并提供标准化、安全、常用的配置文件，可以大大缩短产品线LAMP系统调研的成本，缩短工作周期。
自四月份以来，贴吧遇到了发帖失败的问题，现象比较诡异。通过层层分析，几经波折，终于找到“凶手”。 1 背景很久前知道上有个问题：“从前天开始，跟帖就是发帖失败，换个ID开始能发，后来又变成发帖失败，很迷惑。谁知道怎么回事么。是系统问题么，还是网络问题？”最佳答案是：“很大部分是网络出现问题，你可以重新提交下就可以了”。 前段时间，贴吧的提交UI老是报警，晚上的时候手机叮叮咣咣地响，每次看都是apache进程数上千hold不住了，只好逐台重启。后来OP怒了，直接写了个脚本，发现apache进程数上来就自动重启。好景不长，某天图1被PM截下来发到群上，自己发几个贴测试下居然复现了！看来真不是网络的问题，必须好好追查下了。 2 提交系统综述先整理下贴吧提交的逻辑和涉及的模块。图2是贴吧提交系统的架构，一个完整的发帖流程需要经过下述模块的处理。
Gecko是一套网络排版引擎，由来已久，为当年大名鼎鼎的netscape网络浏览器流传而来，后面也成为了firefox浏览器，thunderbird等等软件的基础。详细的发展历程在这里就不展开做具体介绍了，读者可以自行查阅百度百科，维基百科等资料。在这一章我们重点介绍一下gecko中是如何对全球各种不同的网页文档的编码方式来做出识别和转换的。我们知道，netscape或者firefox是面向全球用户的，并且，在互联网的世界，并没有什么界限妨碍一个美国的用户访问中文或者日文的网页。所以，在这种场景下，浏览器是否能正确识别每个地区的网页的编码格式，并正确地显示出来，就尤为重要了。
摘要：在国内外，云计算正在大步的走向商业化的道路，也得到了越来越多公司的重视。其中平台即服务（Platform-as-a-Service PaaS）已经称为业界探讨云计算的热点方式之一，采用PaaS模式来构建应用运行平台App Engine是一种重要的实现方式。本文主要是对App Engine的背景、特点、需求等进行分析整理，并据此对业界主要的App Engine进行了调研分析。最后对一个完善的App Engine进行了需求的细化分解、架构设计，并针对App Engine的部分核心技术问题提出了解决方案。关键字：App Engine、PaaS、SAE、Nginx、scribe、Hadoop、Storm、Ptail、Scribe 1综述 1.1背景在国内外，云计算正在大步的走向商业化的道路，也得到了越来越多公司的重视。
为了满足移动终端：节省流量、减少请求、提高客户端性能的需求，我们设计了webapp安装更新程序，把js、css、html和图片这些资源，序列化为字符串存入客户端本地存储，并带上版本号来实现资源细粒度更新。 TAG webapp 安装启动 性能优化 1、概述我们认为webapp是一站式的应用，在一个页面里能完成整站的功能。所以，以前通过页面全刷的跳转，现在变成了通过底层框架来支持的局刷和切换动画。为了支持这些功能，会多出不少的代码，再加上app里的功能代码，我们统称为资源，包括底层库js（zepto、iscroll、baiduTemplate等），通用ui组件和app功能性的js、css、html和图片。如何处理一个页面里的这么多资源，才能降低对性能的影响呢？为此，我们设计了webapp安装更新程序，可以做到减少资源请求，节省流量，提升客户端性能。
文档简介：贴吧在进行HTML5技术应用的过程中，进行了一系列的技术调研；本文对HTML5的技术调研进行总结，尽可能客观的分析解答对HTML5技术的一些疑问，给出产品、技术上的一些决策建议。对于文中的内容以及表述，也热切希望能得到大家进一步的指正和交流。 1. HTML5的发展现状及趋势 1.1 HTML5简介 HTML5是一套技术标准、规范，它定义了一系列的API编程接口和HTML规范（本文中将CSS3也默认涵盖到HTML5的技术范畴）；HTML5的运用和推广，需要依赖于各个浏览器厂商对HTML5的支持力度。
背景介绍 站点新功能或者是站内新策略开发完毕之后，在全流量上线之前要评估新功能或者新策略的优劣，常用的评估方法是A-B测试，做法是在全量中抽样出两份小流量，分别走新策略分支和旧策略分支，通过对比这两份流量下的各指标的差异，我们可以评估出新策略的优劣，进而决定新策略是否全流量。 上文中提到的抽样是指按照某种确定的随机化方法，对线上流量进行划分。抽样可以指这种划分的方法，也可以指划分得到的一个流量子集。抽样是一种特殊的小流量，要求对流量的划分必须保证均匀性和随机性，并且可以根据需求过滤掉不符合规范的部分，我们把抽样的过程分为流量切分和流量筛选两个步骤，流量切分是指把全流量进行均匀的打散，提取出其中固定的流量比例，流量筛选是对流量切分的辅助，筛选过程就是从切分好的流量中过滤掉不符合规范的部分，本文主要涉及的是流量切分的实现。
策略开发人员在完成策略之后，在全流量上线之前要评估新的策略的优劣，常用的评估方法是A-B测试，做法是在全流量中抽样出两份小流量，分别走新策略分支和旧策略分支，通过对比这两份流量下的各指标的差异，我们可以评估出新策略的优劣，进而决定新策略是否全流量。我们把抽样的过程分为流量切分和流量筛选两个步骤。流量切分的逻辑较为复杂，包含多种切分类型和多层嵌套，另外为了保证灵活性，层的组合应该是任意的。
诸多事物都要受到其周边事物的影响，进而改变自身的形态，甚至确立自己的存在——云动，方知风的存在。反映在人的眼中，则是云赋予了风的含义：若无云，岂有风？ 0. 动机武林高手经常从山川之间顿悟，并由山川之形变化出上乘武艺。风云之间的飘渺互动，实则也为实打实的科学、工程实践提供了指引。风是客观存在的，而只有籍由云，我们才能观察到它。在技术领域的日常工作中，诸如此类的例子数不胜数。而在自然语言语义的研究中，先驱者们把这个道理总结成了一条假设——上下文假设[i]： “实体的含义，以及实体之间语法关系的含义和这些实体与其他实体之间组合方式的限制有关。”
• 检索结果聚类展望
检索结果聚类，可以有效地反映出特定Query下，检索结果内容的分布，可以清晰地描述出结果中的各个类别，对Query结果的展示方式亦不再是传统1页若干条结果的流式输送，而是采用展现核心词或代表词的方式，简明扼要地从不同维度提示核心信息，免去用户重新构造Query再搜索或在大量检索结果中寻找、定位所需内容的过程。
本文探讨了百度账号系统国际化过程中遇到的问题，并就资源分配和冲突解决、数据互通中间件提出了解决方案，在可用性和数据一致性方面采取有效折中。该方案已经上线并长时间稳定运行。
id分配是社区类产品的提交环节中必不可少的一步。任何UGC类内容产生时往往需要分配一个对应的id。 id分配的几种方式 方式一：单点自增分配。全局由一个模块来负责生成id，可保证id从0开始连续递增，数据一般放在本地文件。简洁，但致命的问题是单点故障会导致服务整体不可用。方式一改进：为该模块提供主从复制的能力，或者干脆将数据放在mysql里，利用mysql的主从复制，都一定程度上增强了可用性，减轻了单点故障的影响。方式二：随机/散列分配。通过一些hash算法，比如以时间+随机串为key的md5生成一个唯一的id，关键点在于算法和key的选择要避免冲突。最典型的就是UUID，UUID的标准型式包含32个16进位数字，以连字号分为五段，形式为8-4-4-4-12的32个字符，如550e8400-e29b-41d4-a716-446655440000。
随着SMP(Symmetrical Multi-Processing)架构的流行和epoll类系统调用对非阻塞fd监视的支持，高性能服务器端的开发已经能够实现CPU计算和IO的分离。为了充分发挥CPU的计算能力，服务器端的设计必须要尽量减少线程切换。引起线程切换最重要的原因之一就是对mutex和semaphor等锁的使用。本文从计算机体系架构、操作系统的支持和mutex的实现彻底分析Linux用户空间mutex的实现，分析的源码版本是glib-2.3.4和kernel-2.6.8。
web站点服务中，我们除了存在面向用户的服务功能外，往往也存在大量的后台离线的相关计算任务，如对前端的异步操作数据队列进行定期处理，对数据库中的数据进行汇总挖掘，监控，转储，对中间数据的进一步运算处理等等……一个web服务站点的背后，往往存在大量对应的后端处理任务的功能模块，用于支撑正常的业务功能系统。 在一个web站点的初始阶段，我们可能只需要有一台服务器，容纳部署所有的业务功能，包括了面向用户的前端web服务功能，数据存储，后端离线处理业务功能。随着站点的业务功能越来越多，用户访问数的增加以及数据量的增长，单台服务器的处理能力往往就面临瓶颈。这个时候简单的处理就是将前端web服务功能，数据库和后端业务模块分开部署在不同的机器上，但是可能过随着站点规模的逐渐庞大，单个服务器也无法支撑前端web服务，数据库服务或者后端离线业务功能。
• 自动问答技术简介
引言无论是苹果公司iPhone上火热的应用Siri，还是去年2月在美国电视竞答节目Jeopardy中打败人类冠军的Watson，都与“自动问答”直接相关。什么是自动问答，自动问答产品能带来什么好处，百度有什么样的自动问答产品，本文将用通俗的语言为您一一道来。 图 1 Siri（左）和Watson（右）自动问答是自然语言处理领域的一个重要方向，旨在让用户直接用自然语言提问并获得答案。例如，用户询问“百度大厦在哪儿？”，问答系统回答“北京市海淀区上地十街10号”。从用户的角度看，自动问答是一种简单且简洁的信息获取方法。用户直接用自然语言与问答系统交互，而无需考虑使用什么样的关键词组合表示自己的意图，所以简单；问答系统直接返回问题的答案，用户无需从冗长的相关文档中自己寻找答案内容，所以简洁。 传统的自动问答技术传统的自动问答系统包括三个主要部分：问题分析、信息检索和答案抽取。
为了达到“在产品发布过程中，通过及时有效的发现和控制新引入线上缺陷的影响范围，保护用户体验，提升上线质量”的目的，我们在吸收和借鉴Facebook灰度发布等技术的基础上，探索出符合产品线现状的“分级发布”方案，并在移动贴吧产品线的实施中验证和改良。本文主要介绍贴吧分级发布的背景、方案、实施过程、实施效果和后续展望。 一、 背景作为贴吧这样上亿PV的产品线，一旦有bug遗留到线上，影响的将是成千上万的用户，对产品形象有很大的伤害；对工程师来说，在各种高优先级的修复项目间疲于奔命，也在一定程度上挫伤士气，降低了效率。那么有没有一种方法可以让我们“在既有的开发测试水平下，更快发现线下测试难以找出的bug，以有效控制产品缺陷的影响范围，提高产品质量呢？”
近3天十大热文
-
[601] Go Reflect 性能 -
[24] 正态分布的前世今生(一)
-
[14] rsync同步的艺术
-
[14] 什么是DNS劫持和DNS污染？
-
[13] Cuckoo Filter：设计与实现
-
[13] Mac下.apk的反编译
-
[13] Linux Used内存到底哪里去了？
-
[13] 深入浅出选择类排序算法(简单选择排序,堆排序
-
[12] 怎样用core文件调试你的linux程序？
-
[11] [译]Google Chrome中的高性能网
赞助商广告
