添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

innodb_flush_log_at_trx_commit 决定了事务日志何时write,flush
innodb_flush_method确定了日志及数据文件如何write、flush。“show   variables”显示该变量为空,那说明被设置了默认值(fdatasync)

下面我们先从Linux IO上理解一下文件是如何打开、写入、刷写到磁盘上的。
一般的文件I/O操作的三个过程open、write、fdatasync,分别是打开文件、写文件、flush操作(将文件缓存刷到磁盘上)

open 阶段:

系统调用Open(),使用 O_WRONLY| O_APPEND|O_SYNC 打开文件:
O_WRONLY表示我们以“写”的方式打开文件。
O_APPDENT以追加的方式写文件。
O_DSYNC 当向文件写入数据的时候,只有当数据写到了磁盘时,写入操作才会完成(write 才会返回成功),
与之相对应的是:
O_SYNC: 这个比O_DSYNC 更严格,把数据写入到文件时,还要把数据的一些元信息写入到磁盘比如文件长度等。
O_RSYNC 表示文件读取时,该文件的缓存必须已经flush到磁盘上。
O_DIRECT打开文件,则读/写操作都会跳过OS cache,直接在device(disk)上读/写。(这样会降低文件的顺序读写的效率)

write阶段: 依赖与open阶段。

flush阶段:将数据刷写到磁盘上。

Fdatasync() 来确保数据文件flush到了磁盘上。
与之相对应的是:
fsync() fdatasync()两者区别等同于 O_sync 和 O_Dsync
sync()函数,将文件写入os cache 就认为写入成功(所以这个很不可靠,但性能确实提高啦)
对于linux平台的 innodb_flush_method() 设置为 Fdatasync 默认,O_sync, O_Direct
对于fdatasync:
Innodb 使用fsync()函数来刷写数据和日志。fysnc()相比fdatasync()函数需要更多的IO(元数据信息),fdatasync()在某些情况下造成Innodb崩溃。
使用fsync()的缺点是 os会缓存部分数据。因为Innodb 能够比os更能智能的管理自己的缓存区(Innodb buffer pool)。这样会造成双缓冲的浪费。(双缓冲部分的优点:有些文件系统会累计写入并执行他们,可能很有效率的排序,或者并行的写入到设备中。可以做预读取),具体情况可以具体测试一番。如果启用Innodb_file_per_table时导致每个文件都被单独使用fsync()函数,,当写入到多个表的时候不能合并到单个IO操作中。http://blog.51cto.com/user_index.php
对于O_DIRECT:
数据文件使用该标记,这个选项不会影响日志文件,对linux、freeBSD、Solaris 支持。,这个时候os不会缓存数据,完全禁止了os缓存并且使所有的读写动作直接到存储设备(避免了双缓冲),使用fsync()把文件刷写到磁盘上(该设置不能禁止RAID卡上的提前读取功能,只是禁止os的提前读取功能),对于RAID卡的缓存还是建议打开的。对于Innodb_file_per_table影响不大(热身时间会加长,满足buffer pool)
对于O_DSYNC:
这个对日志文件调用open()使用了O_SYNC标志,所有的写入是同步的,数据只有写入磁盘才算有效。它不会影响数据文件。
它不会禁止os 的缓存.
具体关系:
openlog     flush log     opendata file     flush datafile
Fdatasync                  fsync()                                    fsync()
O_DSYNC       O_SYNC                                          fsync()
O_DIRECT                   fsync()         O_DIRECT           fsync()

A solution to display Chinese(GB18030 Locale) and Japanese Fonts in Xmanager Version 2.0 创建 1,000 个用户帐户 MySQL避免使用SWAP 误操作引发对日常操作MySQL 的思考 一文带你了解MySQL之InnoDB_Buffer_Pool
通过前边的学习我们知道,对于使用InnoDB作为存储引擎的表来说,不管是用于存储用户数据的索引(包括聚簇索引和二级索引),还是各种系统数据,都是以页的形式存放在表空间中的,而所谓的表空间只不过是InnoDB对文件系统上一个或几个实际文件的抽象,也就是说我们的数据说到底还是存储在磁盘上的。但是各位也都知道,磁盘的速度慢的跟乌龟一样,怎么能配得上“快如风,疾如电”的CPU呢?所以InnoDB存储引擎在处理客户端的请求时,当需要访问某个页的数据时,就会把完整的页的数据全部加载到内存中,也就是说即使我们只需要访问一个页的一条记录,那也需要先把整个页的数据加载到内存中。
一文带你了解MySQL之Log Buffer
上一篇文章我们首次提到Redo Log的概念,Redo Log是数据库体系架构中非常重要的一个模块,它能保证数据库的Crash-safe(崩溃恢复)的能力。而今天要介绍的Log Buffer正和Redo Log息息相关、密不可分。所以我们就来一起来了解它。
【MySQL】innodb_log_file_size=256M,是干什么的?底层原理是什么?
【MySQL】innodb_log_file_size=256M,是干什么的?底层原理是什么?
【MySQL】innodb_flush_log_at_trx_commit=1,是干什么的?底层原理是什么?
【MySQL】innodb_flush_log_at_trx_commit=1,是干什么的?底层原理是什么?
【MySQL】innodb_log_buffer_size=4M,是干什么的?底层原理是什么?
【MySQL】innodb_log_buffer_size=4M,是干什么的?底层原理是什么?
缓存管理是DBMS的核心系统,用于管理数据页的访问、刷脏和驱逐;虽然操作系统本身有page cache,但那不是专门为数据库设计的,所以大多数数据库系统都是自己来管理缓存。由于几乎所有的数据页访问都涉及到Buffer Pool,因此buffer pool的并发访问控制尤为重要,可能会影响到吞吐量和响应时间,本文主要回顾一下MySQL的buffer Pool最近几个版本的发展(若有遗漏,欢迎评论补充), 感受下最近几年这一块的进步 MySQL5.5之前 只能设置一个buffer pool, 通过innodb_buffer_pool_size来控制, 刷脏由master线程承担,扩展性差。 A solution to display Chinese(GB18030 Locale) and Japanese Fonts in Xmanager Version 2.0 创建 1,000 个用户帐户 MySQL避免使用SWAP 误操作引发对日常操作MySQL 的思考