系统架构 -- IT技术博客大学习 -- 共学习共进步！

推荐系统广泛应用于各类网站，电子商务中的商品推荐、博客网站的文章推荐，以及帮助人们寻找音乐和影片的各类应用。但如何才能从无到有的给网站配备一个推荐系统呢？针对这个问题，我在搜索引擎中遍寻多时，但始终没有找到满意的答案。这期间我也加入了国内推荐系统高手聚集的推荐系统邮件列表，其中不乏当当、卓越亚马逊、豆瓣等业内在推荐系统上领先的产品、技术高手，但浸淫多日却始终无法在脑海中形成一个以内容推荐为最终目的...

• 也谈前端开发流程

克军在 WebRebuild 中分享了《LSM 实践》，很不错的议题。下面是我的一些想法。我的理解传统方式：产品经理产出 PRD -> 交互产出 prototype -> 视觉产出 mockup -> 前端产出 demo LSM 方式：PRD -> prototype -> a). 前端做 html b). 视觉做 mockup -> 前端完善 demo 疑惑与讨论 1). 后续环节受前面的影响。这点上，两种方式都受影响。并且前端介入的时间越早，当 PRD 和 prototype 变动时，整体耗费的...

• 用ASM和iSCSI实现的另类HA方案

普通PC本地磁盘，没有共享存储，如何实现HA？Dataguard挺好，但是存在数据丢失的可能性，而且很难做到应用透明切换。我们用ASM,Heartbeat和iSCSI可以实现一个廉价的HA方案，如下图：用iSCSI将本地磁盘输出到对方的机器上，利用ASM的failgroup做mirror，保证数据mirror在两台不同的机器上，就算一台机器完全损坏，数据可以做到百分之百不丢失。用Heartbeat作HA探测，如果发现主机故障，则强行关闭DB和ASM，并在备机启动ASM和DB。...

• 服务器集群架构的设计与选择

在网络应用中，“负载均衡”已经不能算是什么新鲜话题了，从硬件到软件，也都有了很多的方法来实现负载均衡。我们这里讨论的负载均衡，并不是指依靠DNS转向或其它硬件设备等所作的负载均衡，而是指在应用层所作的负载均衡。一般而言，只有在大型在线系统当中才有必要引入负载均衡，那么，多大的系统才能被称为大型系统呢？比如动辄同时在线数十万的网络游戏，比如同时在线数在10万以上的WEB应用，这些我们都可以理解为大型系统，...

• 再谈QQ游戏百万人在线的技术实现

要了解此篇文章中引用的本人写的另一篇文章，请到以下地址： http://t.codyy.com/index.php/2009/215.html 以上的这篇文章是早在去年的时候写的了，当时正在作休闲平台，一直在想着如何实现一个可扩充的支持百万人在线的游戏平台，后来思路有了，就写了那篇总结。文章的意思，重点在于阐述一个百万级在线的系统是如何实施的，倒没真正认真地考察过QQ游戏到底是不是那样实现的。近日在与业内人士讨论时，提到QQ游戏的实现方式并不...

• 服务器的大用户量的承载方案

一、前言复制内容到剪贴板代码: 二、编译安装三、安装MySQL、memcache 四、安装Apache、PHP、eAccelerator、php-memcache 五、安装Squid 六、后记一、前言一、前言，准备工作当前，LAMP开发模式是WEB开发的首选，如何搭建一个高效、可靠、稳定的WEB服务器一直是个热门主题，本文就是这个主题的一次尝试。

• 用(Hudson+Subversion+Ant+JUnit)搭建了个持续集成(Continuous Integration)环境

为了让接下来的研发工作能更顺利地开展，我花了点时间给新团队搭建了个持续集成环境。这里用到的工具主要有：Hudson、Subversion、Ant及JUnit等等。关于持续集成这个概念，有兴趣的可以参考Martin Fowler的一篇文章：Continuous Integration。之前，对那些JAVA编写的服务程序，我们采用的构建方式很原始：手动写Shell脚本，把SVN中的JAVA源码编译成JAVA字节码。应该说，在团队规模较小(不需要太多的协同工作)、部署环境单一(我们...

• NoSQL数据库探讨之一－为什么要用非关系数据库？

随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，例如：1、High performance - 对数据库高并发读写的需求web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息，所以...

• 音乐智能推荐

周末beta沙龙和大家分享的音乐智能推荐PPT，有些内容和上次的PPT差不多，这次主要和大家分享一个完整的数据挖掘流程，同样的，还是工程方面比较多，学术方面这里有很多大牛。

• 好友系统的设计思路

什么样的好友系统大体上常见网站的好友系统分这么两种：一类是如 facebook，严格的好友验证，一方发出请求，另一方核准，接受请求的话两人相互为对方的好友；另一种如豆瓣，从 twitter 上改进而来，你可以任意 follow（关注）他人，如果两人都 follow 对方，就算做好友，好友在这里是“followers”和“following”的交集。其实 QQ 是人们最熟悉的使用第二种方法的软件，只不过多了个对 follow 的验证，而且你只能看到你自己的 foll...

• 云计算中的结构化数据：Google GAE Datastore

GAE Datastore是Google App Engine提供的（半）结构化数据存储系统，基于Google大名鼎鼎的Bigtable技术构建。一、数据模型GAE Datastore的数据模型与关系模型有很大的相似性，但是无模式的。GAE Datastore的接口主要是ORM风格的，一个类，称为kind，与关系数据库中的表类似。一个kind中的数据为多个entity，每个entity有唯一的key标识。每个entity可有多个property，一个property可用多个value。这与关系模型有类似的地方，但GAE D...

• Gearman for MySQL

Gearman是一个开源的分布式调度框架，支持多种语言。在分布式环境中，如何管理大量的服务器，将某些任务分发到大量的机器上调度执行，是一个比较大的挑战，Gearm...

• 一个使用PC服务器的高可用性方案介绍

以Intel Nehalem CPU的强劲性能和SSD盘的高iops为使用高性能pc服务器加SSD硬盘取代传统小型机加存储的方案成为可能。现在2颗4核的Intel Nelhalem cpu的性能已经达到或超过了一般的小型机的性能。单块SLC SSD硬盘的iops就可以达到10000以上，所以使用多块SSD硬盘的iops将超过或达到高端存储的IOPS的性能。然而在pc服务器中缺乏与小型机系统上相应的成熟高可用方案，让大家对如何实现使用Intel Nehalem+SSD盘取带小...

• 音乐搜索的极致

12530 PC客户端咪咕 (页面最下方有一个很不显眼的下载链接) 搜索原本计划是今天上线内测，20号正是随资源库后台一起上线，其实昨晚就已经替换掉了正式服务器上原来的接口。正因为昨晚悄无声息的上线，原本已经下班走到家门口的我们，又被电话叫回公司，来解决一个刚刚发现的bug。音乐搜索，第一期还没有特别做歌词的搜索，只对歌手名，歌曲名，专辑名做优化，加上数据量本身就很小（一共才不到100万首歌），只好在查询上做文章...

• 校内相册发展过程及核心技术分析爆料

用户上传海量数据是一个头疼的事情，每天上千万的数量，又因为互联网的特殊性，会出现高峰期和低潮期，以每天10，000，000张图片来计算，高的时候，每秒上传有可能会在上千张，而低的时候可忽略不计。

• Apache + Jetty 架设 CAS 单点登录

最近一段时间一直在断断续续地尝试 CAS 单点登录的问题，一般的文章，都是直接使用 Tomcat 或者 Jetty 等 Java 应用服务器直接配置 SSL 并安装 CAS 的，但我不太想让 Java 服务器直接 binding 到 443 端口，因此就想仍然用 Apache 处理 SSL 请求，并转发给 Jetty。在这个过程中，主要尝试了以下个问题：如何生成自签名的证书如何配置 Apache如何配置 Jetty安装、测试 CAS把自己的 CA 证书导入到 Java 的 cacerts 文件中并测试 CAS ...

• 利用开源的Gearman框架构建分布式图片处理平台[原创]

　　2009年10月28日，在金山逍遥技术支持部内部分享会上，介绍了Gearman分布式计算框架与金山逍遥DIPS分布式图片处理平台

• 如果用户在5分钟内重复上线，就给他发警告，问如何设计？

在网上看到的: 1分钟内用户上线的数目是60万，如果用户在5分钟内重复上线，就给他发警告，问如何设计？嗯，让我这个自以为是的不知天高地厚的家伙来看看该怎么设计。嗯，首先确认的是,出题者应该是想考实际算法的，和应试者解决难题的方法，全方位思考问题的意识。所以”花600百万美刀花一套oracle的顶级牛B数据库然后把五分钟内的用户记录入库，连数据库查询“这样回答可能确实解决问题不过不是出题想要的。好吧，哪，...

• 客户端应该去计算什么？

这是一个很有意思的话题：随着计算机技术的发展，客户端的计算能力越来越强。想要提高在服务器端运行的系统的负载能力，最直接有效的办法就是把计算任务尽可能交给客户端去做，并减少两者之间的交互；然而，另一方面，这样做又可能会带来一些其他问题，例如，客户端完成某些计算任务的时候可能会比较慢（因为在客户端可以用到的资源比较少，想要保持兼容性最好的办法就是只使用普适的Java Script子集），或者，作为安全系统的一个...

• Friendfeed的MySQL key/value存储

这是一篇2009年初的资料How FriendFeed uses MySQL to store schema-less data,相信大部分人已经看过了。如Fenng的中文介绍FriendFeed 使用 MySQL 的经验。本文从不同的角度再补充下。作者几个月前也曾经在广州技术沙龙作过一次Key value store漫谈的演讲，许多参会人员对key value方向存在强烈的使用意愿，但同时也对完全抛弃MySQL存在疑虑，本文介绍的方案也可以给这些人员一些架构参考。需求 250M entities, entities表共有2.5...