思考mysql内核之初级系列11---innodb的页编号
在上一篇里,bingxi和alex聊了关于mysql内核调试方法。前10篇是一些基础性的内容,从本篇开始,将开始描述inndob的存储结构,为了便于描述的方便,会将一些细节暂时隐去,在后续说到B时会串起来。
我们可以了解到oracle、sqlserver采用的是段、簇、页的方式进行管理。很多其他的数据库也是采用的这样的方法。本篇,bingxi和alex讨论的是页的编号。
对应的文件为:
D:\mysql-5.1.7-beta\storage\innobase\fil\fil0fil.c
D:\mysql-5.1.7-beta\storage\innobase\include\fil0fil.h
Bingxi:“alex,我们的初级系列终于开始进入存储部分了。存储这边内容,包含的还是比较多。Innodb共享存储空间而言(独立表空间也是一样,这里我们只分析共享表空间),以固定大小划分了很多个页。假设共享存储空间只有一个文件,那么编号就是从0开始,默认页大小为16k。也就是文件的大小,按照16k进行划分。假设是10M,那么就是划分为640页,编号从0-639。
现在问题来了,如果是多个文件呢,如何编号。Alex,你来看看。提示下,mysql的共享表空间,只允许最后一个文件为可扩展的。
”
Alex:“ok,我们通过代码来看这个问题。我们先配置下my.ini,内容如下:
[mysqld]
innodb_data_file_path = ibdata1:10M;ibdata2:10M:autoextend
我们看下fil_io代码的实现,
/************************************************************************
Reads or writes data. This operation is asynchronous (aio). */
ulint
fil_io(
/*===*/
/* out: DB_SUCCESS, or DB_TABLESPACE_DELETED
if we are trying to do i/o on a tablespace
which does not exist */
ulint type, /* in: OS_FILE_READ or OS_FILE_WRITE,
ORed to OS_FILE_LOG, if a log i/o
and ORed to OS_AIO_SIMULATED_WAKE_LATER
if simulated aio and we want to post a
batch of i/os; NOTE that a simulated batch
may introduce hidden chances of deadlocks,
because i/os are not actually handled until
all have been posted: use with great
caution! */
ibool sync, /* in: TRUE if synchronous aio is desired */
ulint space_id, /* in: space id */
ulint block_offset, /* in: offset in number of blocks */
ulint byte_offset, /* in: remainder of offset in bytes; in
aio this must be divisible by the OS block
size */
ulint len, /* in: how many bytes to read or write; this
must not cross a file boundary; in aio this
must be a block size multiple */
void* buf, /* in/out: buffer where to store read data
or from where to write; in aio this must be
appropriately aligned */
void* message) /* in: message for aio handler if non-sync
aio used, else ignored */
{
//1.找到对应的表空间结构
HASH_SEARCH(hash, system->spaces, space_id, space,
space->id == space_id);
……
//2.取得第一个文件结点
node = UT_LIST_GET_FIRST(space->chain);
for (;;) {
……
//文件的大小根据my.ini的配置而定
//第一个文件ibdata1是10M,因此对应的node->size为640
//第二个文件ibdata2是10M,因此对应的node->size为640
//3.假设我们查找的文件号为0-639,则对应为第一个文件。
if (node->size > block_offset) {
/* Found! */
break;
} else {
//4.假设我们查找的文件号>640,则查看是否在第二个文件中。
//假设是640,则在第二个文件的偏移量为0*16k字节处开始的一页,也就是文件开始处,也可以勉强称为第二个文件的第0页,实际上是640页。
//假设是641,则在第二个文件的偏移量为(641-640)*16k字节处开始的一页,也可以勉强称为第二个文件的第1页,实际上是641页。
block_offset -= node->size;
node = UT_LIST_GET_NEXT(chain, node);
}
}
……
//5.计算偏移量,见前面代码中的block_offset
offset_high = (block_offset >> (32 - UNIV_PAGE_SIZE_SHIFT));
offset_low = ((block_offset << UNIV_PAGE_SIZE_SHIFT) & 0xFFFFFFFFUL)
+ byte_offset;
……
//6.进行aio操作,offset_low指相对于文件头的字节偏移,len指长度,即获得长度,通常为16k
ret = os_aio(type, mode | wake_later, node->name, node->handle, buf,
offset_low, offset_high, len, node, message);
……
return(DB_SUCCESS);
}
因此,两个文件时的页编号在本例中如图2:
同样,假设有3个文件。对应的大小分别为xMB,yMB,zMB。则第一个文件的编号为0---x*1024/16-1,第二个文件的编号为x*1024/16---(x+y)*1024/16-1,第三个文件的页编号为(x+y)*1024/16---(x+y+z)*1024/16-1。最后一个文件的大小是可变的,可参考fil相关代码。
Bingxi,页编号就是这么回事情了。每个页会一个编号,因此在每一页的开始处,会有38个字节用于描述本页。定义的是相对于页头的偏移量。
/* The byte offsets on a file page for various variables */
#define FIL_PAGE_SPACE_OR_CHKSUM 0 /* in < MySQL-4.0.14 space id the
page belongs to (== 0) but in later
versions the 'new' checksum of the
page */
//这里记录的是页号
#define FIL_PAGE_OFFSET 4 /* page offset inside space */
//有时候页是连在一起的,比如所引页,这里通过prev和next指向前一页,后一页。
//需要注意的是,假设本页是第n页,下一页不需要是n+1,上一页也不需要是n-1
#define FIL_PAGE_PREV 8 /* if there is a 'natural' predecessor
of the page, its offset */
#define FIL_PAGE_NEXT 12 /* if there is a 'natural' successor
of the page, its offset */
//页中最新日志的日志序列号
#define FIL_PAGE_LSN 16 /* lsn of the end of the newest
modification log record to the page */
//页的类型
#define FIL_PAGE_TYPE 24 /* file page type: FIL_PAGE_INDEX,...,
2 bytes */
#define FIL_PAGE_FILE_FLUSH_LSN 26 /* this is only defined for the
first page in a data file: the file
has been flushed to disk at least up
to this lsn */
#define FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID 34 /* starting from 4.1.x this
contains the space id of the page */
//这里的38表示的是长度
#define FIL_PAGE_DATA 38 /* start of the data on the page */
因此文件划分为很多页,每一页有38个字节用于描述页头。而我们知道的是,共享存储空间是有很多数据库共同使用的,假设有如下的操作顺序:
1) 创建表1,并插入数据
2) 创建表2,并插入数据
3) 表1插入数据
4) 表2插入数据
如果我们每次分配一个页,就会存储得很凌乱。可能第n页属于t1,n+1页属于t2,n+3页属于t1,n+4页属于t2,……
这样会降低io读写性能,连续读取性能会更好些,减少了磁头的频繁移动。Bingxi,你觉得mysql是怎么解决这个问题的呢?
”
Bingxi:“ok,这里面就引出了一个新的结构:簇。簇是连续的页,数量为64页。这个我们下篇讲。”
Alex:“ok”
建议继续学习:
- Innodb IO优化-配置优化 (阅读:6755)
- Innodb分表太多或者表分区太多,会导致内存耗尽而宕机 (阅读:6203)
- Innodb 表和索引结构 (阅读:4861)
- InnoDB线程并发检查机制 (阅读:4214)
- Innodb如何使用内存 (阅读:4075)
- 快速预热Innodb Buffer Pool的方法 (阅读:4036)
- Innodb文件表空间结构 (阅读:3836)
- InnoDB的缓存替换策略及其效果 (阅读:3710)
- 多版本并发控制:PostgreSQL vs InnoDB (阅读:3703)
- InnoDB之Dirty Page、Redo log (阅读:3493)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:yzyangwanfu 来源: 杨万富的专栏
- 标签: innodb mysql内核 页编号
- 发布时间:2010-08-15 09:51:14
- [69] Twitter/微博客的学习摘要
- [67] IOS安全–浅谈关于IOS加固的几种方法
- [66] 如何拿下简短的域名
- [65] android 开发入门
- [63] find命令的一点注意事项
- [62] Go Reflect 性能
- [61] 流程管理与用户研究
- [60] Oracle MTS模式下 进程地址与会话信
- [59] 图书馆的世界纪录
- [57] 读书笔记-壹百度:百度十年千倍的29条法则