您现在的位置：首页
--> Hello DBA
Hardware and Software Engineered to Work Together 自从Oracle收购了SUN，不仅仅得到了MySQL，Java，Solaris等，还得到了SUN的硬件产品，真正成为了一家软硬通杀的服务提供商。这几年，接连推出了基于SUN的硬件产品打造的数据库一体机Exadata X2，中间件一体机Exalogic等等，更是将软硬件结合的思路发挥到了极致。其中最郁闷的非HP莫属，从原来的合作伙伴到竞争对手，Exadata采用SUN的硬件，Oracle抛弃安腾处理器，甚至CEO都跳槽...
Fusion-io是基于NAND Flash技术的存储设备，底层存储技术与SSD相同，不同的是，Fusion-io采用PCI-E接口，SSD采用SATA接口。相比较SSD，Fusion-io省略了南桥芯片，RAID控制器等访问路径，所以Fusion-io又把他们的产品称为IO Memory，意思就是可以象内存一样访问，性能比SSD要好很多。我们目前数据库使用SSD，采用的是硬件RAID5的方案，这个方案的优点是：通过RAID卡提供冗余功能，提升了整体的可靠性。缺点是：RAID会损失部分性能...
MySQL单机多实例方案，是指在一台物理的PC服务器上运行多个MySQL数据库实例，为什么要这样做？这样做的好处是什么？ 1.存储技术飞速发展，IO不再是瓶颈普通PC服务器的CPU与IO资源不均衡，因为磁盘的IO能力非常有限，为了满足应用的需要，往往需要配置大量的服务器，这样就造成CPU资源的大量浪费。但是，Flash存储技术的出现改变了这一切，单机的IO能力不再是瓶颈，可以在单机运行多个MySQL实例提升CPU利用率。 2.MySQL对多核CPU利...
最近一段时间，我们整理了一些关于Percona，Linux，Flashcache，硬件设备的优化经验，分享给大家：硬件 1.开启BBWC RAID卡都有写cache(Battery Backed Write Cache)，写cache对IO性能的提升非常明显，因为掉电会丢失数据，所以必须由电池提供支持。电池会定期充放电，一般为90天左右，当发现电量低于某个阀值时，会将写cache策略从writeback置为writethrough，相当于写cache会失效，这时如果系统有大量的IO操作，可能会明显感觉到...
我们都知道，SSD存在一个磨损的问题，虽然厂商提供的数据都显示企业级的SSD产品是可靠的，SSD内置的损耗均衡的算法，可以保证磨损是均衡的，不会出现反复擦写某个单元导致SSD损坏的情况。但是我们依然很担心，磨损对可靠性的影响究竟有多大？最近，我们对线上系统的SSD进行了分析，得到了一些关于磨损的数据，分享给大家。 S.M.A.R.T.(Self-Monitoring, Analysis, and Reporting Technology)是磁盘的诊断工具，其中也包括SSD的磨损...
传统的Oracle的高可用方案必须基于共享存储设备，不管是双机主备模式，还是Oracle RAC，数据库必须放在共享的SAN存储上，通过HA或集群软件实现高可用。Oracle DataGuard是很好的容灾软件，但是作为HA解决方案，功能有很多局限性，比如数据丢失，应用透明切换，只能读无法写(11g)等等，目前都没有非常好的解决方案。自从固态存储技术出现后，单机的IO能力大幅度提升，比如采用PCIE接口的fusionio卡，单块卡就可以提供数万IOPS的能...
我之前曾经写过一篇Library cache内部机制详解，但是遗留了一些关于11g中mutex的改进的问题，最近因为有些11g的数据库频频发生mutex相关的等待事件，所以我又多这个问题做了一些探讨。关于Mutex，可以参考ORACLE mutex实现机制这篇文章，mutex是从10g开始引入的，在library cache中有大量的使用，它的主要作用有两个：一是用来替换library cache pin，二是作为更轻量级的latch使用。
数据仓库环境，ORACLE RAC，100T数据，每日归档那个量5T(对于不需要产生备份的数据，已经采用了nologging方式，以减少归档数量)，如何制定备份和恢复方案？方案一：DataGuard DataGuard是性价比最高的备份和容灾方案，但是当归档超过一定规模之后，DG的恢复就成为了瓶颈，每天产生的归档无法及时恢复完，我们也尝试过很多调优的方法，包括并行恢复，都无法解决，恢复的瓶颈不在存储的吞吐量，而在于standby的恢复方式，因为恢复的...
SSD作为flashcache与memcache作为数据库外部cache的最大区别在于，SSD掉电后数据是不丢失的，这也引起了另外一个思考，当数据库发生故障重启后，flashcache中的数据是有效还是无效？如果是有效的，那么就必须时刻保证flashcache中数据的一致性，如果是无效的，那么flashcache同样面临一个预热的问题（这与memcache掉电后的问题一样）。目前，据我所知，基本上都认为是无效的，因为要保持flashcache中数据的一致性，非常困难。
关于SSD 去年，我们曾经使用了一批SSD的PC，用来做数据库的服务器，用来提高数据库服务器的IO能力。但是从目前的使用情况来看，如果将SSD作为主存储，存在一些问题：首先，SSD的稳定性还不够好，我们碰到了一些SSD盘损坏和SSD与机器不兼容的情况发生。第二，SSD的容量盘都比较小，考虑到稳定性的问题，如果做RAID会进一步损失容量，性价比不高。第三，SSD属于NAND类型的flash，写操作不仅会产生“磨损”，而且随着碎片的不断增...
Oracle中普通的表称为堆表（heap table），堆表中的数据是无序存放的，往往在使用一段时间后，数据就变得非常无序。如下图所示，索引中相同的key对应的数据存放在不同的block中，这时，如果要通过索引查询某个key的数据，就需要访问很多不同的block，代价非常高。 Oracle中有一个统计信息clustering factor，它就是用来反映索引中键值在表中的有序程度，clustering factor的值如果接近表的blocks的数量，表明数据在表中的是有序的...
Cache和Buffer是两个不同的概念，简单的说，Cache是加速“读”，而buffer是缓冲“写”，前者解决读的问题，保存从磁盘上读出的数据，后者是解决写的问题，保存即将要写入到磁盘上的数据。在很多情况下，这两个名词并没有严格区分，常常把读写混合类型称为buffer cache，本文后续的论述中，统一称为cache。 Oracle中的log buffer是解决redo写入的问题，而data buffer cache则解决data block的读写问题。对于Oracle来说，如果IO没有...
我们都知道Latch是Oracle用来在内存中做串行控制的机构，从10g R2开始，Oracle引入了一个新的技术-Mutex。Mutex并不是Oracle的发明，而是系统提供的一个底层调用，Oracle只是利用它实现串行控制的功能，并替换部分Latch。 Mutex中有两个变量：分别是Holider identifer和Reference count，Holider identifer记录持有mutex的SID，而Reference count是一个计数，记录了当前正在以share方式访问mutex的数量，每当session以share方式持...
Oracle中undo的作用主要有两个：第一是回滚事务，第二是产生一致性读。同时也衍生出了一些新的 功能，比如Flashback query。传统的undo是通过undo segment来管理的，我们看下面的示例： 事务开始，必须首先在data block中分配ITL，ITL中记录了事务ID(XID)，XID由三部分内容组成：XIDUSN(回滚段号)，XIDSLOT(回滚段槽 号)，XIDSQN(序列号)，在Undo segment header中有一个事务表，记录该回滚段上的事务信息，每个事务都会占据了一...
数据库的可用性和扩展性一直是数据库厂商和用户最关注的问题。过去我们采用高端的设备，比如使用小型机和大型存储来保证数据库的可用 性。而扩展性主要采用向上扩展(Scale up)的方式，通过增加CPU，内存，磁盘等方式提高处理能力。这种集中式数据库的架构，使得数据库成为了整个系统的瓶颈，已经越来越不适应海量数据对计 算能力的巨大需求。近些年来，分布式系统成为了一种趋势，我们...
Library cache是Shared pool的一部分，它几乎是Oracle内存结构中最复杂的一部分，主要存放shared curosr（SQL）和PLSQL对象（function，procedure，trigger）的信息，以及这些对象所依赖的table，index，view等对象的信息。 Library cache需要解决三个问题： 1.快速定位的问题：Library cache中对象众多，Oracle如何管理这些对象，以便服务进程可以迅速找到他们需要的信息。比如某个服务进程需要迅速定位某个SQL是否存在于Library ...
最近一直在思考一个问题：如何为一个数据库建立性能模型？作为一名DBA来说，我们面临的一个巨大挑战是：如何保证数据库的性能可以满足快速变化的应用的需求，如何在数据量和访问量持续增长的情况下，保证应用的响应时间和数据库的负载处在合理的水平下。我们可能会经常面对以下的问题：某个SQL每秒要执行100次，响应时间是多少？某个应用发布后，对数据库的影响如何？所以，评估应用对数据库所产生的影响，优化应用并预测风险，保...
分布式系统的hash策略，决定了数据的分布。传统的方式采用mod n的算法，非常简单，但是一旦节点发生变化，所有的数据都需要重组，代价非常大。一致性哈希(Consistent hash)很好的解决了这个问题，当节点发生变化时，只会影响到部分数据，而且永远可以找到一个提供服务的节点。对于数据库Sharding的架构，Consistent hash并不十分适合，我们采用了一种新的hash策略，我将其称之为“Virtual Partition Hash”策略。为了解决节点数...
最近一直在为招聘而苦恼，一方面很多朋友觉得找份工作非常困难，另一方面我们却苦于找不到合适的人才。就想写一篇文章说说我们到底需要什么样的人，同时也谈谈我对职业规划的一些看法，也许对朋友们有帮助。招聘或者找工作，偶然性是非常大的。因为人的能力是很多方面构成的，不管是通过简历，笔试还是面试，其实都只能反映出很小的一部分。对于求职者来说，找工作就是展现自己能力的过程，必须在整个过程中充分表现出自己的能力...
根据CAP理论，一致性(C)，可用性(A)，分区容错性(P)，三者不可兼得，必须有所取舍。而传统数据库保 证了强一致性(ACID模型)和高可用性，所以要想实现一个分布式数据库集群非常困难，这也解释了为什么数据库的扩展能力十分有限。而近年来不断发展壮大 的NoSQL运动，就是通过牺牲强一致性，采用BASE模型，用最终一致性的思想来设计分布式系统，从而使得系统可以达到很高的可用性和扩展性。但是，对于CAP理论也有一些不同的声音，数...
[ 共35篇文章 ][ 第1页/共2页 ][ 1 ][ 2 ]
近3天十大热文
-
[55] Oracle MTS模式下 进程地址与会话信 -
[54] IOS安全–浅谈关于IOS加固的几种方法
-
[53] 如何拿下简短的域名
-
[52] android 开发入门
-
[52] Go Reflect 性能
-
[51] 图书馆的世界纪录
-
[49] 读书笔记-壹百度:百度十年千倍的29条法则
-
[47] 【社会化设计】自我（self）部分――欢迎区
-
[39] 程序员技术练级攻略
-
[32] 视觉调整－设计师 vs. 逻辑
赞助商广告
