专题：buffer -- IT技术博客大学习 -- 共学习共进步！

如下命令可以看到我们预期的输出： while :; do echo abcd; sleep 1; done|grep abcd 。如下命令不能看到预期的输出： (不是立即看到，其实，只要等等她就会来) while :; do echo abcd; sleep 1; done|grep abcd|grep abcd 。

HBase如何合理设置客户端Write Buffer

HBase客户端API提供了Write Buffer的方式，即批量提交一批Put对象到HBase服务端。本文将结合HBase相关源码，对其进行深入介绍，分析如何在实际项目中合理设置和使用它。什么时候需要Write Buffer？默认情况下，一次Put操作即要与Region Server执行一次RPC操作，其执行过程可以被拆分为以下三个部分： T1：RTT(Round-Trip Time)，即网络往返时延，它指从客户端发送数据开始，到客户端收到来自服务端的确认，总共经历的时延，不包括数据传输的时间； T2：数据传输时间，即Put所操作的数据在客户端与服务端之间传输所消耗的时间开销，当数据量大的时候，T2的开销不容忽略； T3：服务端处理时间，对于Put操作，即写入WAL日志（如果设置了WAL标识为true）、更新MemStore等。

Chaos网络库（二）- Buffer的设计

对于buffer的设计，chaos和其他网络库的做法稍有不同，就拿libevent-stable-1.4.13(以下所提到libevent处皆为该版本)来说，它采用一种能够自动扩张的buffer，基本策略如下： 1. 当缓冲区不够存放新数据时，它会先在内部做marshal，看看是否能够腾挪出足够的空间 2. 假如没有满足，那么对buffer进行expand, 大小为原来的两倍，扩张之后该buffer就不会缩小...

MySQL数据库InnoDB存储引擎 Buffer Pool Flush List详解

InnoDB存储引擎在进行Drop Table操作时，会短暂hang住整个系统，而且这个hang的时间的长短与Buffer Pool的大小相关。主要原因在于InnoDB在drop table时，会连续两次遍历buf pool LRU 链表，遍历的过程加锁，因此导致系统hang住。那么MySQL数据库InnoDB存储引擎在drop table时为何需要遍历LRU链表呢？

MySQL数据库InnoDB存储引擎 Buffer pool LRU List Flush策略详解

buffer pool LRU list flush(innodb_buffer_pool_size) 每当一个新页面读取buf pool之后，MySQL数据库InnoDB存储引擎都会判断当前buf pool的free page是否足够，若不足，则尝试flush LRU链表。

MySQL数据库InnoDB存储引擎 Buffer Pool页面分配详解

MySQL数据库InnoDB存储引擎 Buffer Pool页面分配(innodb_buffer_pool_size) 当用户需要读取一个在外存中的页面，或者是分配一个新的页面进行插入，就需要调用buf0flu.cc::buf_LRU_get_free_block函数进行页面的分配。一个完整的MySQL数据库InnoDB存储引擎页面分配流程需要包含以下几个步骤： 1.尝试从Buffer Pool的free list中分配新页面，大部分情况下，Buffer Pool的free list都是包含空闲页面的，因此直接分配即可。分配出的页面，需要从free list中删除。

MySQL数据库InnoDB存储引擎 innodb_buffer_pool_size初始化详解

InnoDB Buffer Pool，可以说是InnoDB系统内部最重要的模块之一。通过系统参数innodb_buffer_pool_size，用户可以设置几G，几十G，乃至上百G的内存空间。那么，InnoDB存储引擎系统是如何管理这么大一片内存空间的呢？

MySQL数据库InnoDB存储引擎 Insert Buffer实现机制详解

Insert Buffer，经历多次的版本变迁，其功能越来越强。最早的Insert Buffer，仅仅实现Insert操作的Buffer，这也是Insert Buffer名称的由来。在后续版本中，Innodb多次对Insert Buffer进行增强，到Innodb 5.5版本，Insert Buffer除了支持Insert，还新增了包括Update/Delete/Purge等操作的buffer功能，Insert Buffer也随之更名为Change Buffer。但是在Innodb5.5-5.6的代码之中，Insert Buffer对应的文件仍旧是ibuf，所有的函数，也都以ibuf前缀命名。

从MySQL源码学习运维Innodb buffer命中率计算

按官方手册推荐Innodb buffer Hit Ratios的计算是: 100-((iReads / iReadRequests)*100) iReads : mysql->status->Innodb_buffer_pool_reads iReadRequests: mysql->status->Innodb_buffer_pool_read_requests

Ring Buffer 的应用

这是一篇命题作文，源于今天在微薄上的一系列讨(好吧，也可以说是吵架)。其实方案没有太多好坏，就看你信不信这样做能好一些或坏一些。那么，整理成 blog 写出，也就是供大家开拓思路了。我理解的需求来源于网络服务提供程序的一个普遍场景：一个服务器程序可能会收到多个客户端的网络数据流，在每个数据流上实际上有多个独立的数据包，只有一个数据包接收完整了才能做进一步的处理。如果在一个网络连接上数据包并不完整，就需要暂时缓存住尚未接收完的数据包。问题是：如何管理这些缓冲区比较简洁明了，且性能高效。其实这个有许多解决方案，比如为每个网络连接开一个单独的固定长度的 buffer 。或是用 memory pool 等改善内存使用率以及动态内存分配释放，等等。今天在微薄上吵架也正是在于这些方案细节上，到底好与不好，性能到底如何。既然单开一篇 blog 了，我不像再谈任何有争议的细节，仅仅说说，用 R

小心grep 的buffer

在统计mysql查询次数时，有如下命令：while :; do sleep 1; mysql -u user -ppass -h phpor.net -P 3306 -e \'show status like "Questions";\'; done |grep Ques | awk \'{print $2 - old; old = $2; }\'几秒钟后都看不到结果，怀疑是awk的buffer造成的，于是改写为：while :; do sleep 1; mysql -u user -ppass -h phpor.net -P 3306 -e\'show status like "Questions";\'; done &#...

快速预热Innodb Buffer Pool的方法

当innodb_buffer_pool_size大到几十GB或是百GB的时候，因为某些日常升级更新或是意外宕机，而必须要重新启动mysqld服务的之后，就面临一个问题，如何将之前频繁访问的数据重新加载回buffer中，也就是说，如何对innodb buffer pool进行预热，以便于快速恢复到之前的性能状态。如果是光靠Innodb本身去预热buffer，将会是一个不短的时间周期，业务高峰时，数据库将面临相当大的考验，I/O的瓶颈会带来糟糕的性能。那么，该怎么办呢？

grep 命令的buffer选项

在使用tail -f命令时是可以及时看到文件的变化的，但是如果再加上一个grep命令，可能看到的就不那么及时了，因为grep命令在buffer写不满时就不输出，可以通过选项 --line-buffered 来搞定，如：tail -f file.txt | grep something --line-buffered

浅谈数据库系统中的cache

Cache和Buffer是两个不同的概念，简单的说，Cache是加速“读”，而buffer是缓冲“写”，前者解决读的问题，保存从磁盘上读出的数据，后者是解决写的问题，保存即将要写入到磁盘上的数据。在很多情况下，这两个名词并没有严格区分，常常把读写混合类型称为buffer cache，本文后续的论述中，统一称为cache。 Oracle中的log buffer是解决redo写入的问题，而data buffer cache则解决data block的读写问题。对于Oracle来说，如果IO没有...

Linux操作系统中内存buffer和cache的区别

Freefree 命令相对于top 提供了更简洁的查看系统内存使用情况：　　$ freetotal used free shared buffers cachedMem: 255268 238332 16936 0 85540 126384-/+ buffers/cache: 26408 228860Swap: 265000 0 265000　　Mem：表示物理内存统计 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况，这里我们不去关心。　　系统的总物理内存：255268Kb（256M），但系统当前真正可用的内存b并不是第一行f...

Buffer和cache的区别是什么？

buffer和cache是两个经常被混为一谈的概念。从直观上说，两者都具备改善系统 I/O 吞吐量的能力，但是这两个概念是有区别的，其提高系统I/O吞吐量的原因也不尽相同。cache改善系统性能的主要原因是数据访问的局部性，即，通常应用程序在一段时间内操作的数据集的某个有限的部分，通常是很小的一部分。硬件实现的cache通常会只使用一小块（与主存相比）访问速度很快，但相对比较昂贵的存储部件，并放置于距离CPU较近的位置。buffer...

InnoDB之Dirty Page、Redo log

在InnoDB中，buffer pool里面的dirty page一方面可以加快数据处理速度，同时也会造成数据的不一致(RAM vs DISK)。本文介绍了dirty page是如何产生，以及InnoDB如何利用redo log如何消除dirty page产生的数据不...