专题：存储 -- IT技术博客大学习 -- 共学习共进步！

Web开发中的本地存储常常用来存储一些与用户相关的特定信息到用户本地硬盘，比如用户对网站设置的一些偏好选择如网页皮肤外观，具有时效性的用户登录认证信息，保存用户表单填写的数据以避免反复填写或者提交时网络故障导致填写数据丢失，以及存储一些需要常用到的数据集以减少网页重复加载时对网络数据的请求。在不同客户端平台下的本地存储已有多种现实的解决方案，用得最广泛的如Cookie，但存在数据量较小，不能跨浏览器共享，...

存储设备的革命性产品：ioDrive

最近一直在测试一款让我非常兴奋的存储介质： Fusion IO 的 ioDrive。他在随机小IO的方面的表现，实在是让我吃惊，可以轻松达到100k左右的单一读（或者写）（注意是写也可以达到这个数据） IOPS，读写混合也可以达到 50k～60k左右的IOPS，而且这个 IOPS 数据还是在响应时间低于5ms 的情况下的数据。而实际上，当 IOPS 达到50k 的时候，响应时间仍然低于1ms。注：测试工具为 orion/fio/iometer 100K 的 IOPS 是一个什么概念？假如...

Google大表(BigTable) 第三部分

6.优化前面一章描述了ＢＴ的实现，我们还需要很多优化工作来获得用户需要的高性能，高可用性和高可靠性．本章描述实现的一些部分，以强调这些优化．局部性群组客户可以将多个列族组合成局部性群族．对每个子表中的每个局部性群组都会生成一个单独的SSTable.将通常不会一起访问的列族分割成不同的局部性群组，将会提高读取效率．例如，Webtable中的网页元数据（语言和校验和之类的）可以在...

Google大表(BigTable) 第二部分

５．实现ＢＴ的实现有三个主要组件：客户程序库，一个主服务器和多个子表服务器．针对负载的变化，可以动态的从服务器群中添加（或者去除）子表服务器．主服务器的任务是：给子表服务器指定子表，检测加入或者失效的子表服务器，子表服务器负载均衡，以及对google文件系统的文件进行垃圾收集．除此之外，它还处理诸如建立表和列族之类的表模式改变工作．每个子表服务器管理一个子表集合（通常每个服务器处理数十乃至上千个...

大表(Bigtable):结构化数据的分布存储系统

这篇大表，是我和彼岸合作在06年翻译的。后来我放弃了免费的my.donews上面的blog,后来那个免费的blog也消失了。现在从网络上面各方转载的地方恢复一下。 http://labs.google.com/papers/bigtable-osdi06.pdf ｛中是译者评论,程序除外｝ {本文的翻译可能有不准确的地方,详细资料请参考原文.} 摘要 bigtable是设计来分布存储大规模结构化数据的，从设计上它可以扩展到上２^50字节，分布存储在几千个普通服务器上．Ｇoogle的很多项目...

海纳百川――人人网海量存储系统Nuclear开发手记

经过需求分析阶段，摆在我们面前的是五点要求：高可用、高可扩展、高性能、Key-Value存储、支持关系化查询。经过一段痛苦的系统选型分析，我们最终决定开发属于人人网的海量存储系统。Nuclear，正如其名，nuclear的未来将要肩负起整个评论系统存储的核反应般的压力爆发的重任。由于当时并没有这方面的经验，一切都是摸着石头过河，我们设计了好几期的雏形，一开始明显就是有问题的构架设计，慢慢地在学习和进步的过程中，团队的成员也在慢慢地成长，离我们的目标也越来越近。又因为业务模型的需要和方便分布到集群，这个系统慢慢演变，最后成为了一个可靠的分布式key- value存储系统。以下特将在研发过程中遇到的问题做一个总结。

我对技术方向的一些反思

关于SSD 去年，我们曾经使用了一批SSD的PC，用来做数据库的服务器，用来提高数据库服务器的IO能力。但是从目前的使用情况来看，如果将SSD作为主存储，存在一些问题：首先，SSD的稳定性还不够好，我们碰到了一些SSD盘损坏和SSD与机器不兼容的情况发生。第二，SSD的容量盘都比较小，考虑到稳定性的问题，如果做RAID会进一步损失容量，性价比不高。第三，SSD属于NAND类型的flash，写操作不仅会产生“磨损”，而且随着碎片的不断增...

中等规模网站的UGC图片存放规划

好像现在是个网站就允许用户上传头像，其中一部分还允许上传相册、个性背景图之类的东西。对图片的规划各村都有各村的高招，这里只是抛砖引玉、提个醒：当文件膨胀到一定规模的时候再去改就来不及了，在一个项目的草创时期，让一个人多花两个星期的时间来琢磨这个“小”问题也绝对称不上是过度设计。

淘宝图片存储架构

今天中午花一小时看了下章文嵩博士写的<淘宝海量图片存储与CDN系统>,没有做过大容量的存储系统,也没有做过分布式的应用,只是从学习的角度去思考下未来可能学习的方向和一些点.对比公司的图片服务,其实在技术实现上都有共性:1:imageserver:(1)缓存和图片处理具体使用apache和nginx都无所谓,imageserver的负载在于图片的转换,以及部分中间缓存的读取.GraphicsMagick可以未来尝试使用,另外为提高imageserver的命中率通过lvs...

HTML5本地存储初探(三)

完成了数据的本地存储，就要将文件存储也搞定。为了实现文件的本地存储，html5搞了一个叫 manifest 的文件，这个文件就是一个缓存清单，把需要缓存在客户端的文件告诉浏览器。manifest是一个...

HTML5本地存储初探(二)

完成了UI，我们就需要对数据进行处理了。在开始“数据”的本地存储之前，我们先来了解一下client-side database storage API: the client-side database storage API allows web applications to store structured data locally ...

HTML5本地存储初探(一)

html5带给我们的不仅仅是更多语义丰富的标签，还有更多更牛逼的特性，比如“离线存储”。对于台式电脑来说，或者它并没有带来什么惊喜，但是对于移动设备来说离线存储简直就是一个神...

linux无法识别存储的一个低级问题

上午同事打电话过来，说某项目中，咱们的系统无法识别到HP的存储。HBA卡是Qlogic 2400系列的.驱动是最新的，而且卡已经正常工作了，在dmesg里能看到HP存储的型号，但是就是看不到存储磁盘。不过有一个提示信息，具体的日志是这样：...

Cassandra存储机制

在2009年兴起的NoSQL运动中，Cassandra是其中重要的一个分布式key-value数据库产品，由Facebook在2008年开源，目前是Apache的顶级项目。最近twitter的一篇声明，表示将从MySQL迁...

在perl中连接和使用sqlite做数据存储

Perl使用sqlite和使用mysql一样容易.非常喜欢这种风格. perl使用sqlite SQLite模块定义的“数据库”是存在于单个文件中的，把单个文件仿真为一个数据库。这个还是相当方便的. 当我们在使用perl的DBI...

如果用户在5分钟内重复上线，就给他发警告，问如何设计？

在网上看到的: 1分钟内用户上线的数目是60万，如果用户在5分钟内重复上线，就给他发警告，问如何设计？嗯，让我这个自以为是的不知天高地厚的家伙来看看该怎么设计。嗯，首先确认的是,出题者应该是想考实际算法的，和应试者解决难题的方法，全方位思考问题的意识。所以”花600百万美刀花一套oracle的顶级牛B数据库然后把五分钟内的用户记录入库，连数据库查询“这样回答可能确实解决问题不过不是出题想要的。好吧，哪，...

Friendfeed的MySQL key/value存储

这是一篇2009年初的资料How FriendFeed uses MySQL to store schema-less data,相信大部分人已经看过了。如Fenng的中文介绍FriendFeed 使用 MySQL 的经验。本文从不同的角度再补充下。作者几个月前也曾经在广州技术沙龙作过一次Key value store漫谈的演讲，许多参会人员对key value方向存在强烈的使用意愿，但同时也对完全抛弃MySQL存在疑虑，本文介绍的方案也可以给这些人员一些架构参考。需求 250M entities, entities表共有2.5...

海量小文件存储

Web2.0网站，数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在scaling的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，还存在故障的可能。 YouTube也碰到这样的问题，每一个视频有4个缩微图，这样的话缩微图数量是视频数量的四倍，想象一下YouTube有多少视频，看一下他们遇到的问题：大量的磁盘寻址，在操作系统层面出...

我对存储的一些认识

磁盘一个IO的访问，大致分为三个步骤，第一是磁头到指定的磁道（寻道），第二是等待需要读取的数据随盘片旋转到磁头（延迟），第三是读取数据。相比较前两个时间，读取数据的时间可以忽略不计，所以一个IO的响应时间等于寻道时间+延迟时间决定，寻道时间由于是机械的动作，所以很难得到大幅度提高，但是可以通过提高磁盘转速来提高延迟时间。所以转速越高的盘，可以承载更多的IOPS。磁盘的IOPS由磁盘的转速决定，比如15000RPM的磁...

Oracle ASM存储方式浅析

AU ASM的最小分配单元，默认是1M，可以在创建diskgroup时指定。在diskgroup中的每个盘都被切分为很多个AU，可以是1, 2, 4, 8, 16, 32, or 64MB。 File Extent 由一个或多个AU组成，一个file extent总是在一块磁盘上（不跨磁盘分配AU），这里的file extent和数据库中的extent是不同的，我们可以这样理解，这里的file extent是物理容器，而数据库中的extent是逻辑概念。下图是AU和file extent的示意图，可以看到刚开始时一个file ex...