您现在的位置：首页
--> 系统架构
在互联网系统中，开发效率与系统稳定性与产品成败非常相关。开发效率在一定程度反映了团队的执行力，快速开发能力带来了产品的竞争优势。系统稳定性（包括安全及性能等）则是产品的后防线，稍有失误则会给产品带来很大伤害。因此开发效率与系统稳定性是衡量互联网系统开发成熟度最重要的两个指标。在软件开发周期不同阶段，这两者如何控制？在需求阶段，对开发效率的影响常见的是沟通理解偏差带来的技术风险，之外最常见的还有需...
这段时间来，也在和公司里的一些同学交流使用zk的心得，整理了一些常见的zookeeper问题。这个页面的目标是解答一些zk常见的使用问题，同时也让大家明确zk不能干什么。页面会一直更新。 客户端 1. 客户端对ServerList的轮询机制是什么 随机，客户端在初始化( new ZooKeeper(String connectString, int sessionTimeout, Watcher watcher) )的过程中，将所有Server保存在一个List中，然后随机打散，形成一个环。之后从0...
Strings Strings 数据结构是简单的key-value类型，value其实不仅是String，也可以是数字。使用Strings类型，你可以完全实现目前 Memcached 的功能，并且效率更高。还可以享受Redis的定时持久化，操作日志及 Replication等功能。除了提供与 Memcached 一样的get、set、incr、decr 等操作外，Redis还提供了下面一些操作：... [[ This is a content summary only. Visit my website for full links, other content, and more! ]] ...
大家好，我是Google+基础架构团队的工程师。早在7月份，当Joseph Smarr开发出了Ask Me Anything栏目后，很多人都想知道一些关于Google+技术架构方面的信息。我们几个工程师觉得应该写一些关于这个题目的文章，给大家分享。 对于Google+团队，我们头一个要认真处理的问题就是：页面生成速度。在谷歌，我们十分在意速度，下面就是我们用来提升速度的5项技术。 1. 我们喜欢Closure 我们喜欢...
MogileFS 目前没有任何原生的功能来支持它运行在多个地的数据中心和使用多个 tracker. Tracker 可能运行在不同的网络，通过 ZoneLocal 插件，可以让你使用本地副本来服务的客户.并使用本地副本来复制。 当然，全部的 tracker 必须从同一个数据库来取数据。
前言：这是我最近在公司内部分享的一篇文章，大家反响比较强烈，所以也分享到博客里来。 一转眼，来公司已经三年多了。 这三年里，所属部门在变，地理位置在变，技术也日新月异，但是...
摘要：两篇文档是否相关往往不只决定于字面上的词语重复，还取决于文字背后的语义关联。对语义关联的挖掘，可以让我们的搜索更加智能化。本文着重介绍了一个语义挖掘的利器：主题模型。主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。近些年来各大互联网公司都开始了这方面的探索和尝试。就让我们看一下究竟吧。
若以2006年3月13日Amazon发布S3服务开始计算，AWS已经有5年半了。经过这么多年的工程与应用，现在AWS的基础设施功能已经相当丰富，能满足构建超大互联网应用的大多数需求，提供的开发工具、文档、社区和支持也还不错。AWS的服务简述如下：一、基础设施服务AWS共提供14类28项服务，大致可分为计算、存储、应用架构、特定应用、管理这五大类：1、计算类服务EC2：虚拟机实例，有标准型、大内存、高运算能力、带10G网络的HPC、GPU等多...
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓...
前端图片优化介绍随着前端页面越来越复杂，尤其是一些社区型的页面中，图片成了页面中不可或缺的资源，并且随着产品功能的叠加图片大小越来越多。以下是几个网站的图片所占的比重。 由于图片是二进制文件，并不能像js、css、html那些源代码文件一样可以通过gzip压缩大大减小文件的大小。所以图片优化主要是选择合适的图片格式，在不降低图片质量的情况下去掉图片里的元数据信息。常用的一些优化方案目前图片优化使用比较多的主...
本文按照作者自己的理解对比了一下 tt server 和 redis 这两个产品从线程模型，存储方式，持久化，性能等进行了一些比较，得出一些启发，个人之言，希望能帮助更多人理解 tt server 和 redis 这两个产品。
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用方法。因此，也非常欢迎你分享你在ZK...
目前在公司内部使用ZooKeeper的地方越来越多，应用大多喜欢自己部署一套zk环境进行使用。考虑到zk的高可用，并且一套zk集群至少3台机器，那么每个应用，尤其是一些非核心应用都自己去部署一套的话，对资源利用率很低。另外，随着ZK容灾的提出，单套ZK集群使用的机器量会更大，运维人员开始对这个情况担忧，强烈希望能够合并ZK集群。 ZK集群合并使用本身并没有太大的难度，问题在于应用方是否愿意大家共用一套ZK...
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分...
redis是个内存全集的kv数据库,不存在部分数据在磁盘部分数据在内存里的情况,所以提前预估和节约内存非常重要.本文将以最常用的string和zipmap两类数据结构在jemalloc内存分配器下的内存容量预估和节约内存的方法. 先说说jemalloc,传说中解决firefox内存问题freebsd的默认malloc分配器,area,thread-cache功能和tmalloc非常的相识.在2.4版本被redis引入,在antirez的博文中提到内节约30%的内存使用.相比glibc的malloc需要在每个内存外...
• 地图检索
前言：半年前，和师弟在一起吃饭时，他忽然抬头，很好奇地问我：“为什么有了百度的大检索，百度地图还要自己做检索呢？”这个问题也一直伴随着我，后来有幸转入检索方向，不断摸索，也才有了这篇文章。正文：地图检索，顾名思义，是在地图里的检索。它与大检索大同小异，虽然在切词粒度、专名识别、拉链归并和rank等很多细节上与大检索有一定差异，然而真正让他与众不同、独具风采的，是地图领域所特有的空间位置信息。在地图...
有一次，当开发人员完成当前Sprint 任务的代码之后，测试人员与开发人员、产品经理一起来浏览产品、从头到尾走一边，产品经理发现了问题，认为需要对功能进行比较大的修改。这时开发人员估计 需要两天时间才能完成代码，但测试人员反对这样做，我们本来只有5天测试时间，加上这次新做的功能比较多、开发代码质量不高，验收测试已经很紧张。如果再 延迟两天，测试没法完成。产品经理说，你们不是在用敏捷测试方法，应该测得很快，三...
我这几天在微博上写了一句话: 回归简单，即便开始反而会变得更加复杂。 回想起当年刚用Django写素材管理系统还历历在目，最近却已经逐渐脱离Django了。 成长总是分阶段的吧，勇敢的抛弃一...
近3天十大热文
-
[71] Java开发岗位面试题归类汇总 -
[62] android 开发入门
-
[61] IOS安全–浅谈关于IOS加固的几种方法
-
[61] Go Reflect 性能
-
[61] 如何拿下简短的域名
-
[60] 【社会化设计】自我（self）部分――欢迎区
-
[58] Oracle MTS模式下 进程地址与会话信
-
[53] 图书馆的世界纪录
-
[45] find命令的一点注意事项
-
[45] WEB系统需要关注的一些点
赞助商广告
