添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
相关文章推荐
逼格高的山寨机  ·  Android ...·  1 年前    · 

在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案

mysqldump 该命令可以指定导出数据库,该命令可能用时很久

cp 直接拷贝mysql数据文件,这里会影响业务需要下线mysql

使用innobackupex 工具进行备份,这个不影响业务,速度稍快

先打lvm快照,然后从快照中备份数据,节省时间

我们有需要将物理盘上的mysql迁移到ssd上,先说一下生产环境一直有数据产生,且数据量达到500G。 方案一:使用mysqldump,不管是导入导出都太耗时,没有一天拿不下 方案二:直接物理磁盘上拷贝也是非常耗时,拷贝过程中需要停服务,这就导致停服务时间太长。 方案三:这个方案本来是很有优势的,但是实际情况导出导入也需要锁表或锁库,也是需要停服务,本来我们就不需要增量拷贝,innobackupex优势体现在增量拷贝。 方案四:拷贝速度快 综合停服务时间以及操作难易度,最终选择了方案四。 下面描述下操作步骤

1、创建物理卷

pvcreate /dev/vdb

2、创建卷组

vgcreate vgssd /dev/vdb

3、创建mysql数据分区

lvcreate --size280G -n mysql

java 项目在开发环境开发完成,在测试环境测试没有问题后,就需要发布到 生产环境 ,如果系统是对公众的,那就需要很多工作了。比如服务器申请,域名申请,渗透测试,漏洞扫描,公网IP,负载均衡slb,CDN等等。本文介绍 java 项目上线到 生产环境 的一些准备工作。 今天,我们介绍了三种 数据 迁移 的方式,分别是:逻辑 迁移 、文件 迁移 和物理 迁移 。逻辑 迁移 的方式主要是使用 mysql dump 命令进行 迁移 ,其原理主要是将 数据 库中的 数据 和结构生成 SQL 文件,再导入即可。这种 迁移 方式主要适用于 数据 量比较小且服务器性能较好的场景下,例如 数据 连少于 500 万条以下的场景。文件 迁移 的方式其实也算是逻辑 迁移 的范畴,它主要通过命令将 数据 保存在文件中,然后再导入 数据 库即可,这种 迁移 方式是不会 迁移 表结构的,所以在导入 数据 之前需要手动创建表结构,其原理跟逻辑 迁移 的方式相同。 陶瓷企业管理软件 生产 系统 数据 库中的几个主要表(计件工资、窑炉 生产 记录单、 生产 单等)一年产生数百万条 数据 ,随着使用时间的增长, 数据 量越来越大、系统运行速度受到很大影响。为此,我们推出了历史 数据 归档 功能,以解决这个问题。影响 数据 归档 日期前的计件工资、窑炉 生产 记录、 生产 相关单据( 生产 单、移交单、损耗单、半成品入库单、半成品出库单、库损单)会全部清除; 生产 单据产生的库存记录 归档 到期初库存;工人花纸 生产 使用... 数据 归档 可以解决 生产 数据 库因为 数据 量过多,从而引发磁盘空间预警,表查询、变更效率变低等问题。但是任务方案都存在双面性, 数据 归档 可能引发 数据 幂等被破坏、 归档 查询库 RT 较高、 归档 数据 缺失,造成业务影响等问题。所以我们设计 数据 归档 的方案时,需要全面考虑,提前准备预案,解决可能造成的业务问题。 概述分享下最近 的一个 mysql 大表 归档 方案,仅供参考。整体思路一、明确哪些大表需 归档 1、 数据 库表概要信息统计SELECTt1.table_schema,t1.table_name,`ENGINE`,table_rows,CAST( data_length / 1024.0 / 1024.0 AS DECIMAL ( 10, 2 ) ) `data_size(M)`,CAST( index_le... 1,杨辉三角packagedemo5;publicclassYhsj {publicstaticvoidmain(String[] args) {// TODOAuto-generated method stubinttriangle[][]=newint[8][];for(inti=0;i{triangle[i]=newint[i+1];for(intj=0;j&lt... 到 数据 归档 ,很多人的第一个概念就是,不就是无用的 数据 ,换个地方放吗,直接拷贝,删除不就得了,有那么麻烦。我见到过的,听到过的 数据 归档 的方法有以下几种1 数据 通过人工的手段来进行清理,... Java DataArchiverGoalIn most of production scenario, data is growing infinitely as time goes by,which may cause DB performance drops dramatically.However massive cold data are barely used, this is the ... 最近在 一个银行的 生产 数据 脱敏系统,今天写代码时遇到了一个“瓶颈”,脱敏系统需要将 生产环境 上Infoxmix里的 数据 原封不动的Copy到另一台 Oracle 数据 库服务器上,然后对Copy后的 数据 作些漂白处理。为了将人为干预的因素降到最低,在系统设计时采用 Java 代码对 数据 作Copy,思路 首 先在代码与 生产 库间建立一个Connection,将读取到的 数据 放在ResultSe...   最近,用户提出 数据 库大小太大,所以,希望把文件 归档 。至于 归档 ,该怎么 呢?   我们提出的解决方案,占用 数据 库最主要的就是各种文档,那就按照时间为限制,超过一年的文档全部备份,由用户的IT自行保存到他们的存储中。   还好用户的 数据 规模不是特别的大,我们使用程序来处理也不会特别的耗时。   关于文档库处理起来比较容易,我们只需要用Windows 资...