MySQLOPS -- IT技术博客大学习 -- 共学习共进步！

• Filesort过程

分析源码，介绍一下mysql Filesort过程。

基本原理 - 在chaos开篇介绍(http://www.cppthinker.com/chaos/57/chaos_1)中已经提到，task service作为chaos库的核心，主要承担着三个重则： 1. 网络I/O 2. 超时事件 3. 异步消息处理

• Chaos网络库（二）- Buffer的设计

对于buffer的设计，chaos和其他网络库的做法稍有不同，就拿libevent-stable-1.4.13(以下所提到libevent处皆为该版本)来说，它采用一种能够自动扩张的buffer，基本策略如下： 1. 当缓冲区不够存放新数据时，它会先在内部做marshal，看看是否能够腾挪出足够的空间 2. 假如没有满足，那么对buffer进行expand, 大小为原来的两倍，扩张之后该buffer就不会缩小...

• Chaos网络事件库开篇介绍(一)

由于之前工作用得是libevent和boost asio, 所以一直很想写一款基于自己设想的网络库, 并在某位大侠的鼓励下萌生了开发网络库的想法, 由于我的初衷是不打算使用任何第三方库, 从零开始完全自己编写, 故取名为chaos —无中生有, 始为混沌. 首先, Chaos是一个基于Linux平台, reactor模式的网络事件库, 目前仅支持TCP传输协议, 仅在x86_64下编译, 并遵循3-clause BSD开源协议. 在使用上, 可以说它很像boost asio, 可能是由于我对boost asio的接口设计很有爱吧, 而且对于boost asio在异步编程方面的思想, 我个人也比较认同, 但至今我也没有仔细阅读过boost asio的源码, 一是boost的模板化编程在可读性上让我比较折磨, 其二则是不想在对设计先入为主的情况下去开发chaos.......

• 环境切换 – 残酷的性能杀手（上）

对于服务器的优化，很多人都有自己的经验和见解，但就我观察，有两点常常会被人忽视 - 环境切换和 Cache Line同步问题，人们往往都会习惯性地把视线集中在尽力减少内存拷贝，减少IO次数这样的问题上，不可否认它们一样重要，但一个高性能服务器需要更细致地去考察这些问题，这个问题我将分成两篇文章来写： 1)从一些我们常用的用户空间函数，到linux内核代码的跟踪，来看一个环境切换是如何产生的 2)从实际数据来看它对我们程序的影响

• MySQL 中 QueryCache 的锁模型

有同学在问 MySQL中 QueryCache(QC)的锁是 “全局锁”还是 “表锁”。这里简要说明一下。 1、 QC基本概念这个是实现在MySQL层(非引擎层)的一个内存结构，基本规则是将满足一定条件的查询结果缓存在内存中，若同样的查询再执行第二次，而且缓存没有失效，则可以直接返回查询结果，无需到引擎获取数据。

• C++ 多进程并发框架FFLIB之Tutorial

FFLIB 目前处于alpha阶段，一些有用的功能还需继续添加。但是FFLIB一开始就是为了解决实际问题而生。Broker 即可以以独立进程运行，也可以集成到某个特定的进程中启动。除了这些，FFLIB中使用epoll实现的网络层也极具参考价值。网上有一些关于epoll ET 和 LT的讨论，关于哪种方式更简单，本人的答案是ET。ET模式下epoll 就是一个完全状态机。开发者只需实现FD的read、write、error 三种状态即可。

• C++多进程并发框架

三年来一直从事服务器程序开发，一直都是忙忙碌碌，不久前结束了职业生涯的第一份工作，有了一个礼拜的休息时间，终于可以写写总结了。于是把以前的开源代码做了整理和优化，这就是FFLIB。虽然这边总结看起来像日记，有很多废话，但是此文仍然是有很大针对性的。针对服务器开发中常见的问题，如多线程并发、消息转发、异步、性能优化、单元测试，提出自己的见解。面对的问题从事开发工程中，遇到过不少问题，很多时候由于时间紧迫，没有使用优雅的方案。在跟业内的一些朋友交流过程中，我也意识到有些问题是大家都存在的。

• Nginx+KV db进行AB灰度测试

周6参加华东运维大会，听了人家淘宝用nginx的一些场景，其中AB的灰度测试可能适用场景会比较普遍，当然大会上，并没有详细讨论实现。大概需求是：网站类业务在更新new feature时，并不想让全量用户看到，可以针对地区性用户开放此feature 大概构思了一个方式，使用 nginx+redis/memcache+IP库实现，简单的流程图如下.......

• MySQL多线程同步MySQL-Transfer介绍

关于Transfer MySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里，从库是单线程apply主库的binlog，导致的延迟。

• 关于 innodb_stats_on_metadata 的设置问题

这个问题来自QA同学测试时候碰到的一个“诡异现象”。 1、测试现象测试的库有很多数据，但是重启之后，只对一个表的5w条记录作查询。查询条件客户端控制，确保查询范围。innodb_buffer_pool_size设置为35G。

• MySQL表名映射方案及扩展应用

这篇文章介绍的简单方案应用于如下需求：主库为了性能考虑，作分库分表，从库则上为了多索引查询等需求，不作分表。参数replicate-rewrite-db 及应用这个参数是官方版本自带的。配置格式为 replicate-rewrite-db = from_db -> to_db。同步效果为将所有在from_db上的操作都修改为对to_db的操作。

• MySQL数据库InnoDB存储引擎 Buffer Pool Flush List详解

InnoDB存储引擎在进行Drop Table操作时，会短暂hang住整个系统，而且这个hang的时间的长短与Buffer Pool的大小相关。主要原因在于InnoDB在drop table时，会连续两次遍历buf pool LRU 链表，遍历的过程加锁，因此导致系统hang住。那么MySQL数据库InnoDB存储引擎在drop table时为何需要遍历LRU链表呢？

• MySQL数据库InnoDB存储引擎 Buffer pool LRU List Flush策略详解

buffer pool LRU list flush(innodb_buffer_pool_size) 每当一个新页面读取buf pool之后，MySQL数据库InnoDB存储引擎都会判断当前buf pool的free page是否足够，若不足，则尝试flush LRU链表。

• 数据库数字参考表的妙用

今天的主角就是数字参考表，什么是数字参考表？一个表中，存放了从1开始连续到很大值的数字的表，我们称为数字参考表。

• MySQL 中group by的实现

有同学问到group by的实现，发现可能存在误解，简单说明一下。

• PostgreSQL从菜鸟到专家数据库的数据存取设计

将数据存入数据库从表面上看，关系数据库，例如PostgreSQL，拥有很多类似于电子表格的地方。但是，当你了解数据库的底层结构，你可以发现它复杂得多，主要因为它有能力通过复杂的方法将表格关联到一起。它可以比电子表格有效地存储更多复杂的数据，并且它有用很多其他功能方便选择存储的数据。例如，数据库可以管理多个用户同时使用。让我们看看存放我们简单的但表格客户列表到数据库，看这么做有什么好处。在后面的章节，我们将扩展它并看PostgreSQL怎么帮助我们解决客户订单的问题。

• MySQL数据库InnoDB存储引擎的Group Commit（二）

今天发现Percona Release的Percona-Server-5-5-18-23-0已经完成了Group Commit工作，而且是用最优雅的方式(移植了MariaDB数据库的实现，而不是workaround)，心里难掩激动。这篇文章接前篇继续介绍一下问题的背景：什么是Group Commit，现在的官方版本Group Commit做到了什么程度？

• MySQL数据库InnoDB存储引擎的Group Commit（一）

这个问题由来已久，Kristian Nielsen连续写了四篇文章《Fixing MySQL group commit》(part 1 | part 2 | part 3 | part 4 )深入细致的分析了“故事”的前因后果。本文完全没有任何新意，仅做一个小的总结。这里会先介绍一下什么是“Group Commit”，MySQL/InnoDB存储引擎里面的Group Commit为什么引起如此大的关注，现在是怎么解决问题的。

• C++ 后台程序实时性能监控

面对的问题：做后台程序经常会被问一句话，你的程序能撑多少人。一般官方一点的回答是这个得根据实际情况而定。实际上后台程序的性能是可以被量化的。我们开发的每一个服务器程序，对性能都非常有底，以为我们有数据。So，能撑多少人不少随便猜的，让数据报表来说话。另外一种情况经常发生在开发人员之中，甲乙丙一起讨论接口实现，经常会说这么实现效率太低，那么实现效率才高等。实际上，效率高低都是相对而言的。一个函数1ms执行完毕够快吗？看起来挺快，若某接口需要此函数100次循环，那么情况就不是很乐观了。但是若此接口又是十天半个月才会被触发一次，似乎事情又变的不是很严重。