天！转转MySQL机房迁移半小时结束战斗？

见贤思齐

1背景2迁移方案选择2.1方案一：扩容+主从切换2.2方案二：级联切换2.3方案对比3如何又快又稳完成MySQL机房迁移3.1提前搭建级联3.2停服3.3批量操作自动化，关键步骤解耦3.4集群分级3.5切换前、后置检查3.6灰度切换验证4写在最后1背景作为国内领先的循环经济产业公司，随着转转业务的不断发展，基础服务设施已然到了“蜕壳”的阶段。目前在用的IDC资源已趋于饱和，难以满足后续的发展需求。同时，随着腾讯云提供的负载均衡技术迭代，需要将TGW（TencentGateWay）替换为CLB（CloudLoadBalancer）。经过运维同学近半年时间的筹划和建设，全新IDC和负载均衡技术（CLB）已完成升级建设并正式投产，MySQL、TiDB、Redis等公共基础服务需要有序进行迁移切换。对于MySQL迁移工作，面临集群数量多、操作影响大、操作要求高等一系列难题，需要充分调研现状并制定合理的方案，进一步降低对业务服务的感知。2迁移方案选择2.1方案一：扩容+主从切换通过备份扩容出足够数量的从库，再依赖MHA（MasterHighAvailability）系统发起主动切换，最终下线旧节点完成集群拓扑变更。2.2方案二：级联切换通过备份搭建级联集群，完成新集群数据同步，再通过断级联+域名切换的方式完成集群变更。2.3方案对比方案一：开发量小，扩容和MHA切换都比较容易实现。但单个集群MHA切换时间>30s，对业务的影响时间过长，且机房迁移要求具备大规模切换能力，这就对MHA系统要求极高，就算是大厂自行维护的高可用系统，恐怕也难以保证在短时间内依靠高可用系统完成百余套集群的无损切换。方案二：原理简单，切换速度快，单个集群切换时间30）灰度切换验证期间遇到的问题：多域名问题按标准化运维，同一集群同一角色有且仅有一个域名，但线上集群存在一套集群使用多个主库、从库域名的情况。在流量切换时，需要兼容处理多域名问题cmdb信息不准确部分老集群元数据长时间未维护，实例信息、域名指向信息可能有误。在迁移切换前，需要花精力去校对最新数据4写在最后转转线上MySQL集群规模400+，需要在9月27日凌晨停服期间完成所有集群切换。P3、P2集群在停服前已完成批量切换，剩余P1核心集群累计100+，平均耗时10s/套，半小时内结束战斗。停服期间因前期已规避大部分问题，切换过程非常流畅，后续的验证、压测也均符合预期。关于作者黄建波，转转DBA。主要负责转转MySQL运维及数据库平台开发。