系统架构 -- IT技术博客大学习 -- 共学习共进步！

• timetunnel之系统架构

之前曾简单介绍了timetunnel以及timetunnel在淘宝的应用情况，后续将会有N篇博客详细给大家解读timetunnel的系统设计。timetunnel已经在淘蝌蚪开源，更多的文档和代码信息可以访问http://code.taobao.org/project/view/411/ 。本文主要介绍timetunnel的整体框架。从上图可以看出，timetunnel大概有四部分组成，client，router，zookeeper，broker。 client是一组访问timetunnel的api，主要有三部分组成：安全认证api，发布api，订...

• 如何在Hadoop集群运行jni程序

笔者通过jni技术，将ws分词包成功的运行在hadoop集群，大大提升了数据挖掘的能力。本文将技术架构和细节呈现给读者。

• 系统架构的一些思考

很久没更新博文了,主要还是觉得自己的思维没有进一步提高,今天简单记录下,以前总是以正向的方式去思考问题,其实对自己进行一些反向的思考收获可能更大.修改了下原文,原来有些话说的有点太感性,希望对于看到的人有帮助.1:对于Squid的使用思考缓存服务目前有很多种,可能并没有很多人意识到为什么用Squid或者Memcached.他们解决的应用场景其实不一样的.期望用缓存解决所有复杂的事情,其实带来的管理代价是无穷的.通过最近的分析发...

• 前端要给力之：URL应该有多长？

URL到底应该有多长？我为什么要提这个问题呢？有许多优化指南里都写着：要尽量减小COOKIE、缩短URL，以及尽可能地使用GET请求等等，以便优化WEB页面的请求和装载。但是，这种所谓“尽可能”、“尽量”只是定性的描述，定量的来看，要缩短到多少个字节才算少呢？

• 图片格式与设计那点事儿

为什么想整理这方面的类容，我觉得就像油画家要了解他的颜料和画布、雕塑家要了解他的石材一样，作为网页设计师也应该对图片格式的特性有一定了解，这样才能更好的表达你的创意和想法。

除此之外，我们在平时工作中也会遇到许多与图片格式相关的问题。比如设计师会奇怪为什么有些页面的产出物总是没法达到设计稿那样的品质和效果，什么样的设计才更适合Web页面；页面重构师和前端工程师则想知道在切图的时候应采用什么图片格式、如何进行参数设置才能达到品质和性能的最优化。

有时候我们可能会因为一张格式不正确的图片而导致设计品质的下降以及页面性能的降低。了解图片格式的特性就是为解答这些困惑从而让我们设计的产品更好、更快。

• HTTP Live Streaming (HLS) 不错的视频直播技术

常用的流媒体协议主要有 HTTP 渐进下载和基于 RTSP/RTP 的实时流媒体协议，这二种基本是完全不同的东西，目前比较方便又好用的我建议使用 HTTP 渐进下载的方法。在这个中 apple 公司的 HTTP ...

• 存储设备的革命性产品：ioDrive

最近一直在测试一款让我非常兴奋的存储介质： Fusion IO 的 ioDrive。他在随机小IO的方面的表现，实在是让我吃惊，可以轻松达到100k左右的单一读（或者写）（注意是写也可以达到这个数据） IOPS，读写混合也可以达到 50k～60k左右的IOPS，而且这个 IOPS 数据还是在响应时间低于5ms 的情况下的数据。而实际上，当 IOPS 达到50k 的时候，响应时间仍然低于1ms。注：测试工具为 orion/fio/iometer 100K 的 IOPS 是一个什么概念？假如...

• Google大表(BigTable) 第三部分

6.优化前面一章描述了ＢＴ的实现，我们还需要很多优化工作来获得用户需要的高性能，高可用性和高可靠性．本章描述实现的一些部分，以强调这些优化．局部性群组客户可以将多个列族组合成局部性群族．对每个子表中的每个局部性群组都会生成一个单独的SSTable.将通常不会一起访问的列族分割成不同的局部性群组，将会提高读取效率．例如，Webtable中的网页元数据（语言和校验和之类的）可以在...

• Google大表(BigTable) 第二部分

５．实现ＢＴ的实现有三个主要组件：客户程序库，一个主服务器和多个子表服务器．针对负载的变化，可以动态的从服务器群中添加（或者去除）子表服务器．主服务器的任务是：给子表服务器指定子表，检测加入或者失效的子表服务器，子表服务器负载均衡，以及对google文件系统的文件进行垃圾收集．除此之外，它还处理诸如建立表和列族之类的表模式改变工作．每个子表服务器管理一个子表集合（通常每个服务器处理数十乃至上千个...

• 大表(Bigtable):结构化数据的分布存储系统

这篇大表，是我和彼岸合作在06年翻译的。后来我放弃了免费的my.donews上面的blog,后来那个免费的blog也消失了。现在从网络上面各方转载的地方恢复一下。 http://labs.google.com/papers/bigtable-osdi06.pdf ｛中是译者评论,程序除外｝ {本文的翻译可能有不准确的地方,详细资料请参考原文.} 摘要 bigtable是设计来分布存储大规模结构化数据的，从设计上它可以扩展到上２^50字节，分布存储在几千个普通服务器上．Ｇoogle的很多项目...

• Redis几个认识误区

前几天微博发生了一起大的系统故障，很多技术的朋友都比较关心，其中的原因不会超出James Hamilton在On Designing and Deploying Internet-Scale Service(1)概括的那几个范围，James第一条经验“Design for failure”是所有互联网架构成功的一个关键。互联网系统的工程理论其实非常简单，James paper中内容几乎称不上理论，而是多条实践经验分享，每个公司对这些经验的理解及执行力决定了架构成败。题外话说完，最近又研究了Redis...

• 多核编程的难题（二）

刚刚过去的一个月一直都在忙着赶实验赶论文，直到前几天完成一篇短论文的写作才得以抽身来补上这一篇关于多核的曙光的文章。我将分几个方面来阐述一下我对多核上并行编程持乐观态度的原因。 1. 较易并行化的应用如果一个应用的子任务之间依赖关系比较小，相互独立性强，那么它就具有很好的可并行性。很容易我们就会想到服务端的应用。服务端应用的特征就是为多用户提供相似的服务，因为它本身具有内在的并行性，所以相比那些子任...

• 多核编程的难题（一）

最近David Patterson老爷子（就是计算机体系结构--量化方法的作者之一）发表了一篇文章《The trouble with multicore》，文章高屋建瓴的分析了一下多核发展的当前形势，文章开篇就说了一句话“造芯片的家伙们正忙着生产那些大多数程序员不知道如何编程的多核CPU”。这不由的让我想起我跟我导师Per Stenstrom的一次对话，我问他说“现在多核出来了，有一大堆新的难题等着我们去解决，作为研究人员您是否觉得很兴奋呢？”结果他说“...

• python与c-跨语言级别的进程间通信

简单来说就是，一个python写的主进程与多个c写的处理进程通信的问题。主进程启动之后，会启动多个c的处理进程，主进程会对处理进程发送数据，并控制处理进程。这种情况在server的编写中比较常见，为了解耦一般会将接受数据的进程与处理进程分开，在c中的实现一般是主进程先fork出子进程，然后在子进程中调用exec将自身替换为处理进程，进程id不变。这样主进程即可拿到所有的子进程id进行统一管理。

• 为什么程序员需要关心顺序一致性（Sequential Consistency）而不是Cache一致性（Cache Coherence？）

本文所讨论的计算机模型是Shared Memory Multiprocessor，即我们现在常见的共享内存的多核CPU。本文适合的对象是想用C++或者Java进行多线程编程的程序员。本文主要包括对Sequential Consistency和Cache Coherence的概念性介绍并给出了一些相关例子，目的是帮助程序员明白为什么需要在并行编程时关注Sequential Consistency。

• 八条设计多线程程序的简单规则

前言：最近在看该作者的《The Art of Concurrency》，里面第四章就是上面这篇文章，觉得很实用而且很有共鸣。作者基于在并行编程领域的20多年工作经验总结成上面八条简单的原则，一下子帮我把之前并行编程时的一些认识给理清了，量化了，实在是“居家旅行，并行编程，必备良药”。花了几天时间把它翻译了一下，不知道各位在看了之后是否有些共鸣呢？

• 分布式缓存系统 Memcached 入门

维基百科上对 Memcached 的介绍是一个分布式的缓存系统，但是 Memcachd 到底是什么意思，有什么作用呢？缓存一般用来保存一些经常被存取的数据和资源（例如：浏览器会将访问过的网页会话缓存起来），因为通过缓存来存取数据要比从磁盘存取同样的数据要快得多。所以 Memcached 顾名思义，意味着 “内存缓存”，所有缓存的内容都在服务器的内存中。内存中的这些缓存数据可以通过 API 的方式被存取。数据是以 key/value 的配对方式...

• 创业公司技术选型参考

提供java推荐框架 web项目来说，spring、struts是必选，当然有更加好用的，推荐来自疱丁分词作者王志亮在人人网的rose框架，使用上手快，配置少，是创业公司java必备。 php框架推荐 zend framework，或者直接写个简单的框架，php的框架更加倾向去规范代码，让所有项目在新人加入时快速上手。代码版本控制 subversion是必选工具，简单易学，git也开始流行，也是可选方案。 jar包依赖管理这是针对java项目...

• 微博架构与平台安全演讲稿

本文是在2010中国首届微博开发者大会演讲稿(PPT)，由于网上已经有演讲视频及全程文字记录，这里就不做补充，演讲稿如下。微博架构与平台安全 View more presentations from Tim Y. 需要下载请点击 view on Slideshare，在 Slideshare 打开后 Download Similar Posts:QCon Beijing qconbeijing全部演讲资料下载 Memcache mutex设计模式构建可扩展的微博架构(qcon beijing 2010演讲) 第一期广州技术沙龙演讲稿及视频 Web 2.0...

• 如何开发Web应用程序

这是一个经常被问到的问题，问的理所当然。作为一个程序员，为什么我就非要被认为知道如何开发Web应用程序呢？这个问题没有一个简单的答案，甚至那些教育机构都未必能清楚的知道；我上的那个大学并没有提供任何关于这个主题的课程。所以，像大多数在这个领域里的web开发人员一样，我只是通过去做，去实验才学会了这些。没有人告诉我如何去做，我从给自己做点什么东西开始，学会如何开发web应用程序是在这个过程中的一个副产品...