系统架构 -- IT技术博客大学习 -- 共学习共进步！

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为 MapReduce任务进行运行。

Cassandra HBase 一致性 Quorum NRW策略通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性单节点，无复制，强一致性可用性 1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。 2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 hinted handoff，源节点恢复后，推送回源节点。 3，通过Gossip协议维护集群所有节点的健康状态，并发送同步请求，维护数据一致性。 4，SSTable，纯文件，...

• 详解JDBC与Hibernate区别

刚开始学习JAVA时，认为Hibernate是一个很神圣的东西，好像是会了SSH，就能走遍全世界一样。记得曾经在枫叶面试的时候，我们几个同学出还说这个公司怎么这么的落后，还有JDBC，没有一点上进心。可是毕业以后才发现，却发现自已就像是井底之蛙一样。然而也不想做随风柳絮，所以决定好好的总结一下，JDBC与Hibernate的区别。JDBC与Hibernate在性能上相比，JDBC灵活性有优势。而Hibernate在易学性，易用性上有些优势。当用到很多复...

• Flash真的适合做网站应用吗？

最近，我们做了一个决定：开发一个类似功能的ActiveX控件，替代Flash作为图片上传的主要解决方案。ActiveX的优势是性能，不足之处在于只能在Windows+IE浏览器中使用，但实际上我们的Flash上传目前也只能在IE中使用。Flash真的适合像阿里巴巴这样的网站使用吗？闭源和性能是Flash最大的问题。但在HTML5被广泛支持前，Flash和传统Ajax还是我们最主要的富客户端应用开发技术，相对于ActiveX、Silverlight、JavaFX、Gear等技术来说，Flash还是有安装率优势的。我们看到Adobe最近在新功能开发方面非常给力，值得称赞，但基础的功能的持续完善对开发者也同样重要。目前Flash依然是我们很重要的RIA技术，但是HTML5完全到来的那一天，现在很难说。

• 一种基于长连接的社交游戏服务器程序构架

这里讨论社区游戏服务器程序的设计与实现思路。情景在社区游戏开发中，有一类游戏具有实时互动的特点，这样就需要有实时同步功能的服务器，我们这里叫它实时web游戏服务器。这类程序通常需要完成用户登录，为用户分配逻辑服务器，处理用户游戏逻辑，后台数据处理等业务。这里要讨论的服务程序与经典的网游服务器程序类似，但是又有不同于网游服务器的地方。首先它需要处理业务逻辑要简单的多，实时web游戏的客户端通常是以flash...

• Hadoop集群间Hadoop方案探讨

在日常的工作过程中，我们经常会碰到在不同的Hadoop集群间来回copy数据的需求。这些不同的集群，他们的Hadoop版本可能不同，不同机房的acl也可能不通，给我们的distcp带来了很多困难。这里整理曾经遇到的各种需求，供各位看官参考： 1.机房影响这里假设有两个Hadoop集群，a和b，版本一致，但位于不同的机房A1和B1（A1的机器变化较少，B1的机器变化更频繁，acl推荐从A1打通到B1），任务计划于机房A1的机器gateway_a上提交。需要做...

• 分布式数据访问调研

1 背景当前，使用业务和逻辑隔离的部署已经成为主流，但是对具体存储部署和接口的依赖，一直成为存储对业务逻辑完全透明的一个障碍。为达到达到业务逻辑不必真正关心具体的存储逻辑，方便快速开发，便于日常维护，简化迁移等目的。对数据存储需要有一下的问题需要解决： 1. 抽象数据模型，统一数据访问接口，屏蔽业务层对数据层的逻辑依赖。同时提高业务的可维护性。 2. 解决当机房内的分布式数据相关问题，屏蔽业务层对数...

• 什么是REST？

让我来给你们做一个非常简单的，适用的解释。 REST 是一套用来创建Web Service的方法。 REST式的Web Service的主旨是让事情尽量的简单化。 REST式的Web Service使用HTTP里的方法：GET， POST， DELETE， PUT。你不需要使用URL或请求的内容来指定这个方法。 REST式的Web Service使用URL来指明你将要操作什么对象。 REST式的Web Service使用HTTP状态码作为返回值。 REST式的Web Service调...

• 如何提升视频服务质量

1:智能IP调度IP库提供了IP地址(段)同地理、ISP、结构等信息映射关系的一组数据。通过用户端的IP和IP库进行比较更加精准的定位用户.从统计的数据来看10%的用户下载速分率小于100KByte/s.对于实际的IP调度可能要根据用户实际的网络情况进行不断的调整.2:码率大小码率就是数据传输时单位时间传送的数据位数,一般用单位是kbps即千位每秒.码率分为固定码率和可变码率.码率和清晰度是成正比的.提升码率对于视频容量和带宽都具有较...

• 数据库如何抵抗随机IO：问题、方法与现实

随机IO几乎是令所有DBA谈虎色变的一个问题，这个问题，往往在数据量小的时候不出现，在数据量超过内存大小时，才陡然出现，令没有经验的DBA促不及防，也令有经验的DBA寝食难安。传统的数据库架构对随机IO几乎没有还手之力。传统数据库的核心通常是页级缓存、B+树、堆或索引组织表，这些机制，对随机IO的抵抗能力，都无一例外的可悲的差。页级缓存有很强的“连坐”效应，就是为了要缓存一条有价值的记录，顺带可能要同时缓存百条无...

• 使用Squid缓存视频

视频的Cache层是使用Squid进行服务的,当然对于这样的缓存服务也有人使用Varish或者Nginx的Proxy Cache.但是经过一段时间的使用和了解,Squid确实有其强大指出,尤其在反代理这个方面.包括还有很多成熟的功能模块,对于视频这样重网络I/0和大文件存储的应用来说,某些参数的设置和模块确实比较重要.1:视频拖动模块支持视频的拖动,这个其实需要二次开发,但是应该不难.2:视频业务一般都是做防刷的,一般通过变化URL进行控制,而Squid...

• 日志分析方法概述

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器――apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常代表着用户的一次访问行为，例如下面就是一...

• 使用hadoop进行大规模数据的全局排序

1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什么的，...

• 调研分享：图片文件在各文件系统上的访问性能对比

在某产品线的图片服务器，存放了亿级别的图片文件，每个文件的大小在0.5k-100k之间，其中1K以下的文件数量在50%左右，1-4K文件数量在40%左右，4K以上10%，大量的文件存储对文件系统的性能要求非常高，特对目前业界常用系统性能在图片服务的表现进行调研。　　因线上flash卡故障率非常高，所以在寻找替代方案，磁盘是否可以满足线上系统需求？是否满足今后可扩展性（容量、文件数量）？是否可以更好的处理数据同步使用...

• S.O.L.I.D.类设计原则

本文是从 S.O.L.I.D. Class Design Principles 这篇文章翻译而来。本文是由敏捷宣言签署人之一、《 Clean Code(代码整洁之道)》一书的作者Robert C. Martin为他的《Applying Principles and Patterns》这本书搜集整理而来。单一责任原则(SRP) 只有一个理由去修改一个类。例如，如果一个业务规则的改变会导致这个类的修改，那么，数据库、界面、报表格式或系统任何其它的部分的改变都不该迫使这个类做修改。 http://davidhayden.c...

• Membase基础教程

最近在仔细的研究并测试了很多NOSQL的数据库，对Membase有了一定的了解，写下来，分享一下。 Membase是一个为交互式网络应用优化了数据存储的key-value类数据管理系统，在对于数据的使用上，Membase和Memcache是兼容的。Membase最大的特点是它横向扩展的方式，这也是和Memcache、Redis、Tokyo Tyrant等最大的区别，后文会详细...

• 清除代码异味

今天，Venkat Subramaniam 就关于清除代码异味的话题给我们做了一个非常有趣的演讲。下面就是我记录的一些他的话。为什么我们需要有质量的代码？敏捷开发方法是用来应付那些要求代码做大量改动的反馈信息的方法。如果程序没有用一种好的表达方式来表现，那程序会很难读，难维护，难修改。什么是代码异味？代码异味是一种由写的很差的代码...

• 小文件优化之道-文件成组

昨天在群中，又有很多人在问，我的服务器跑不上量，我的服务器只能跑十几M 流量，为什么别人能跑上 G 的流量。为什么？服务器基本很少是为了跑量的，只有到了最后，追求成本的时候这...

• Nginx+FastCgi+Php 的工作机制

近半年一直在做服务迁移的事情,现在遇到一个问题,需要将WebServer从Nginx替换为Apache.今天查阅了相关资料:Nginx+FastCgi+Php 的工作机制.FastCgi是通讯协议,可以通过Unix套接字或者Tcp进行通讯.Nginx内置基本模块FastCgi模块(控制缓存区大小等功能)Nginx通过FastCgi技术和外部的服务或者工具一起工作.Php自己能够运行一个Fastcgi应用程序(php-fcgi)..Nginx通过FastCgi协议将请求发送给Php Fastcgi应用程序执行编译Php的时候...

• Oracle+Fusionio+Dataguard的高可用方案

传统的Oracle的高可用方案必须基于共享存储设备，不管是双机主备模式，还是Oracle RAC，数据库必须放在共享的SAN存储上，通过HA或集群软件实现高可用。Oracle DataGuard是很好的容灾软件，但是作为HA解决方案，功能有很多局限性，比如数据丢失，应用透明切换，只能读无法写(11g)等等，目前都没有非常好的解决方案。自从固态存储技术出现后，单机的IO能力大幅度提升，比如采用PCIE接口的fusionio卡，单块卡就可以提供数万IOPS的能...