MySQL崩溃到稳如磐石:36小时实战突围
|
去年九月份,杭州某支付平台凌晨三点十七分MySQL主库突然OOM kill——当时监控显示buffer pool hit rate跌到31%,innodb_buffer_pool_pages_dirty飙到47289页,但DBA值班表上写着“常规巡检,无异常”。
文章配图,仅供参考 我接手时,故障已持续11分钟。第12分钟执行了kill -9 mysqld进程,结果mysqld_safe自动拉起,但redo log写入卡在lsn 128974621358——这个数字我抄在左手虎口上,擦不掉。重启失败三次。第四次启用了--innodb-force-recovery=3参数才勉强挂载只读实例,可查订单号时发现二级索引b+树层级错乱:用户ID为987654321的记录,其order_time字段指向2022年1月1日——这根本不是数据损坏,是page checksum校验绕过导致的时间戳寄存器污染。你敢信? 我们切到备库切换,但发现GTID_EXECUTED集合里混入了伪造的binlog_pos=45230987(来自三天前一次被误删的中间件重放脚本),导致主从复制直接断裂。那个脚本叫sync_order_v2_legacy.py,跑在一台标记为“已退役”的CentOS 6.5虚拟机上,运维说它早就下线了——可它的crond每17分钟还偷偷敲一次mysql -e "INSERT INTO ..." 用pt-table-checksum全量校验发现62个表存在行数偏差;其中user_wallet_detail表实际缺失217条记录,但checksum值居然一致——因为那批缺失数据恰好落在被Page Cache缓存、尚未刷盘的LRU尾部页里。我们手工补录时发现,第189条INSERT语句中的UNIX_TIMESTAMP(NOW(3))返回值比系统时钟快4.2秒,这是内核时钟漂移叠加Percona Server 5.7.28一个未公开patch引发的tzinfo缓存污染。没人提过这事。 第22小时,尝试升级到MySQL 8.0.33。迁移后首次压力测试就崩:performance_schema.data_locks表爆出Unknown error 3092,经查是InnoDB临时表空间元数据锁与新的原子DDL锁队列发生死锁——官方文档里连这个错误码都还没收录。但8.0.33的lock_wait_timeout可动态调,而5.7要改my.cnf重启。这是新技术真正的价值:不是炫技,是把原来要等18小时回滚的事务压缩成217毫秒熔断。 稳了。 36小时后上线的新架构跑满72小时零故障,TPS稳定在18700±120,p99延迟压到38ms。但直到现在,/var/log/mysqld/目录下还躺着一份未解析完的ibd文件碎片——它来自崩溃前最后一秒写入的分区表subpart_2023_q3_0014,文件头magic number是0x45444F43而非标准0x4942444D,我们试了三台不同型号SSD都读不出来。或许得找Intel工程师借个PCIe热插拔诊断卡。 这方案对中小团队并不友好。8.0.33的adaptive hash index在小内存机器上反而容易触发latch contention,上周给义乌一家电商做适配,他们在16G内存虚拟机上把innodb_adaptive_hash_index=off之后QPS才从11200拉回17900——可见所谓“稳如磐石”,只是贴合特定硬件水位线的动态平衡。我不建议盲目跟新。 我已经约好下周二去Intel西雅图总部看他们实验室里的NVMe闪存信号眼图测试仪。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


MySQL运维与设计五大经典陷阱避坑指南
Linux PHP开发环境搭建:13年经验实战指南
AI安全专家赋能:营销运营协同增长实战
VR工程师转战PHP:三天调试实战通关
Windows站点权限配置:16年日志工程师实战避坑指南
客户端工程师创业踩坑:冷启动与基建实战复盘
iOS转PHP:Xcode到Laravel调试实战