嵌入式工程师建站踩坑手记:裸机到高可用运维全链路
|
去年劳动节,我蹲在杭州城西科创大走廊的出租屋地板上,用RK3566开发板加一块二手WD Blue 4TB盘,硬是搭了个能跑Docker的NAS——结果第37小时,/boot分区因ext4 journal回写bug直接只读挂死,连串口console都卡在“VFS: Unable to mount root fs”那行。嵌入式工程师建站踩坑手记:裸机到高可用运维全链路,这标题不是噱头,是我拿两块烧糊的NanoPi R6S主控板换来的实测数据。 整套链路走下来,最反直觉的失败发生在Traefik v2.10的Let’s Encrypt ACME HTTP-01挑战环节:它默认把/.well-known/acme-challenge路径映射到容器内部/tmp,而我在buildroot里用mdev做热插拔管理时,/tmp被mount成tmpfs且设置了noexec——证书请求永远返回403,查了11小时日志才在/var/log/traefik/access.log里揪出那个被截断的"GET /.well-known/acme-challenge/xxx HTTP/1.1"后面跟着的“Permission denied”系统调用痕迹。这事没人提,因为多数人直接切DNS-01了,但嵌入式场景里DNS-01需要额外开一个UDP 53端口穿透路由器——而我的小米路由器R3G固件根本不支持自定义DNS响应。
文章配图,仅供参考 新技术 我对比过OpenWrt 22.03、Buildroot 2023.02和Yocto Kirkstone三套构建方案,最后选了Yocto——不是因为它多先进,是因为它生成的initramfs里systemd-journald能实时把UART输出刷进/sys/fs/pstore,某次u-boot跳转内核失败时,靠这个pstore里残留的last_kmsg救回了关键寄存器状态;OpenWrt那边得靠外接逻辑分析仪抓UART波形,太折腾。但Yocto有个没文档的坑:meta-raspberrypi层里raspberrypi-zero-w的设备树编译依赖一个叫bcm2835-rng的module,而我移植到RK3566时漏删这行,导致/dev/hwrng始终open失败,systemd-random-seed.service一直fallback到/dev/urandom——整整三个月没发现熵池不足,直到某天etcd集群脑裂,才发现raft heartbeat timeout背后是rngd启动失败的静默降级。 今年3月试过Prometheus+Alertmanager+Grafana闭环告警,但在内存仅512MB的ARM64设备上,当node_exporter采集间隔设为15s时,golang runtime的GC触发频率导致swapd每47分钟就把整个zram压缩页表打爆一次——监控本身成了雪崩推手。后来换成c-advisor+轻量statsd agent,用shell脚本每90秒curl /proc/meminfo抓MemAvailable,再发UDP到远程influxdb,延迟压到800ms内,CPU占用从38%降到6.2%。 裸机部署的第三周,我发现ntpdate在armv7a平台同步时间时会把rtc-hym8563芯片的世纪位清零,结果所有log时间戳集体倒退100年——kern.log里满屏“[1970-01-01 00:00:01]”,害我重刷了四次RTC校准固件。这事只有飞凌OK3566-C的硬件手册第187页 footnote 3提过一句“建议禁用ntpdate -s”,其他社区帖子全是复制粘贴的systemd-timesyncd配置,没人真测过裸板RTC。 嵌入式工程师建站踩坑手记:裸机到高可用运维全链路 我至今没搞定Btrfs的balance子命令在eMMC上的原子性问题——每次balance过程中掉电,/dev/mmcblk0p1就会进入read-only mode,且无法通过fsck.btrfs修复,必须dd if=/dev/zero of=/dev/mmcblk0p1 bs=4K count=1000强制擦除superblock;这个缺陷在Linux 6.6内核仍未修补,Linus本人在邮件列表里回过一句:“Btrfs on eMMC isn’t supported, full stop.” 我现在改成只在SSD上跑Btrfs,eMMC仅放/boot和uEnv.txt,哪怕多占3GB空间也认了。主观判断就一句:把ZFS或Btrfs当嵌入式主力文件系统的人,大概率没亲手焊过eMMC信号线阻抗匹配电阻。 接下来准备把cgroup v2 memory controller和psi指标集成进告警策略——但得先确认rk3566的kernel config里CONFIG_PSI_DEFAULT_DISABLED是不是关掉了。不确定,明天上午九点烧个新image试试。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


