关于项目——ops-project · 云上运维实践
ops-project · 云上运维实践:WordPress + 全栈监控 + 自动备份 + CI/CD
一个按生产标准搭建、并持续维护的运维实践项目:在单台云服务器(Ubuntu 24.04)上,用 Docker Compose 编排 WordPress 博客(Nginx + PHP-FPM + MySQL),配套完整的 监控告警、备份恢复 与 CI/CD 自动部署回滚 体系。
| 入口 | 地址 |
|---|---|
| 业务站点 | https://blog.ddgmm.top |
| 监控面板 | https://monitor.ddgmm.top(Nginx Basic Auth + Grafana 登录双重保护) |
| 源码地址 | https://github.com/ddgmma/ops-project |
工程重点
看得见故障:主机 / 容器 / 站点三层监控;blackbox 拨测以“用户视角”验证站点可用性,覆盖“主机指标全绿、网站却打不开”的盲区
数据丢得起:备份对“成功”有严格定义(完整性校验 + 结束标记);失败、未执行、监控链路断开都会触发邮件告警;恢复流程经过真实验证
上线出不了事:部署前预校验(compose / nginx / Prometheus),部署后健康检查,失败自动回滚到最近一次健康版本
攻击面够小:仅 80/443 对外,管理组件全部只监听 127.0.0.1;敏感配置一律不入库
架构总览
端口暴露原则:宿主机只对外开放 80/443(Nginx)。Prometheus(9090)、Grafana(3000)、Alertmanager(9093)一律只监听 127.0.0.1,Grafana 通过 Nginx 反代对外;Prometheus / Alertmanager 无认证,需通过 SSH 隧道访问。
技术栈
| 用途 | 镜像 | 版本 |
|---|---|---|
| 服务器系统 | Ubuntu | 24.04 LTS |
| 容器引擎 | Docker CE + Compose v2 | — |
| Web 入口 / 反向代理 | nginx:stable | v1.30.5 |
| 应用(WordPress) | wordpress:6-fpm | PHP 8.3.31 |
| 数据库 | mysql:8.0 | v8.0.46 |
| 主机指标 | prom/node-exporter | v1.10.2 |
| 容器指标 | ghcr.io/google/cadvisor | v0.60.5 |
| 站点拨测 | prom/blackbox-exporter | v0.26.0 |
| 指标存储 / 告警判断 | prom/prometheus | v3.5.0 |
| 告警分发 | prom/alertmanager | v0.28.0 |
| 可视化 | grafana/grafana | v12.3.1 |
| 证书 | certbot + Let's Encrypt | 90 天自动续期 |
| 备份 | bash + cron + 腾讯云 COS | 每日自动 |
| 流水线 | GitHub Actions | 自动部署 + 回滚 |
目录结构
xxxxxxxxxxops-project/├── docker-compose.yml # 全部服务定义(监控栈用 profiles 控制,默认不启动)├── php.ini # PHP 参数:上传 128M / 执行超时 300s(挂载进 wordpress 容器)├── 项目大概.md # 架构草图和版本矩阵笔记├── nginx/│ └── conf.d/│ ├── blog.conf # 博客站点:80→443 跳转、HTTPS、PHP-FPM、安全头、上传目录禁 PHP│ └── monitor.conf # Grafana 反代 + Basic Auth(WebSocket 支持)├── prometheus/│ ├── prometheus.yml # 抓取配置:自监控 / node / cadvisor / blackbox 拨测│ └── rules/alerts.yml # 告警规则:主机、采集、容器、业务、备份 5 组共 17 条├── alertmanager/│ └── alertmanager-example.yml # 邮件告警配置模板(真实文件含授权码,不入库)├── blackbox/│ └── blackbox.yml # 拨测模块:http_2xx / https_cert / icmp├── scripts/│ ├── backup_mysql.sh # 数据库备份:校验 + 防并发 + 指标上报 + COS 上传│ ├── backup_files.sh # wp_data 数据卷备份(只读挂载打包)│ ├── restore.sh # 恢复:list / db / files(恢复前自动快照)│ ├── deploy.sh # 预校验 → 部署 → 健康检查 → 失败自动回滚│ └── reload-nginx.sh # 证书续期后重载 Nginx(certbot deploy-hook)├── .github/workflows/deploy.yml # push main 自动触发服务器部署├── backups/ # 备份产物(运行时生成,已 gitignore)└── logs/ # backup.log / deploy.log / restore.log / nginx/(已 gitignore)
监控体系
采集层次
| 层次 | 组件 | 内容 |
|---|---|---|
| 主机 | node-exporter | CPU、内存、磁盘、负载、textfile 自定义指标(备份状态) |
| 容器 | cAdvisor | 每个容器的 CPU / 内存 / 重启次数 |
| 站点 | blackbox-exporter | 拨测 https://blog.ddgmm.top 与 /wp-login.php(可用性、响应时间、证书有效期) |
| 自监控 | Prometheus up 指标 | 所有抓取目标是否存活 |
Grafana 侧导入社区面板:Node Exporter Full(1860)、Docker 容器监控(193)与 Blackbox 拨测面板。
告警规则(prometheus/rules/alerts.yml)
主机(host.rules):CPU > 85%、内存 > 85%、磁盘 > 80%、磁盘 4 小时内写满预测、可用内存 < 10%、15 分钟负载过高
采集(scrape.rules):TargetDown(
up == 0,抓取目标不可达)容器(container.rules):业务容器数量不足、内存接近限额 85%、10 分钟内发生过重启
业务(business.rules):SiteDown、SiteSlow(> 5s)、证书 14 天内过期、证书已过期
备份(backup.rules):备份失败、超 26 小时未执行、备份指标缺失(监控链路断了)
告警分发(Alertmanager)
邮件通道(QQ SMTP 465),按
alertname + instance分组,避免告警风暴刷屏critical走快速通道:group_wait: 10s、repeat_interval: 2h;普通告警 30s / 4h恢复时也发「已恢复」邮件(
send_resolved)抑制规则:磁盘「将写满」时抑制「使用率 80%」;站点「完全不可访问」时抑制「响应缓慢」
备份与恢复
备份设计
| 内容 | 脚本 | 关键点 |
|---|---|---|
| MySQL 数据库 | backup_mysql.sh | mysqldump --single-transaction;set -o pipefail 避免「管道最后一环 gzip 成功 → 误报备份成功」;校验 gzip 完整性、文件大小、Dump completed 结束标记 |
| wp_data 文件卷 | backup_files.sh | 临时 alpine 容器只读挂载卷打包;校验 tar 完整性、文件大小、包内含 wp-content |
两者共同特性:
防并发:
flock锁,上次没跑完本次直接跳过保留与异地:本地保留 7 天;可选同步腾讯云 COS 异地副本(3-2-1 原则,安装
coscmd后自动启用)状态上报:结果写入
/var/lib/node_exporter/textfile/*.prom,由 node-exporter 暴露为指标,失败可触发告警邮件目标:RPO ≈ 24 小时(每日全量);RTO ≈ 10 分钟(脚本化恢复)
恢复
xxxxxxxxxx./scripts/restore.sh list # 列出可用备份./scripts/restore.sh db backups/db_wordpress_xxx.sql.gz # 恢复数据库./scripts/restore.sh files backups/files_wp_data_xxx.tar.gz # 恢复文件卷恢复流程内置保护:先校验备份文件完整性 → 自动对当前状态做一次快照(后悔药)→ 停 WordPress → 恢复 → 起服务 → 站点可用性验证。
恢复能力经过真实验证:误删数据、DROP DATABASE 整库重建、文件卷(图片)丢失三类场景均完成完整恢复,并用数据量前后对比确认结果。
CI/CD(GitHub Actions)
push 到 main(忽略 **.md / docs/** 等文档改动)或网页手动触发后:
健康检查失败会自动回滚到
logs/last_good_commit(记录最近一次健康成功的版本,避免在故障版本上原地打转)预校验不通过时直接终止,线上服务零影响
部署过程加
flock锁,同一时间只允许一个部署;CI 端concurrency同样限制
需要在仓库配置 5 个 Secrets:SSH_HOST、SSH_USER、SSH_PORT、SSH_KEY、SSH_FINGERPRINT。其中指纹用于校验服务器身份、防止中间人攻击,注意应使用 ECDSA 指纹(appleboy/ssh-action 对 ED25519 指纹存在已知的校验问题,会误报 mismatch)。
安全设计要点
按“纵深防御”分层设计:
网络边界:云防火墙仅放行
22/80/443,系统侧ufw兜底。注意 Docker 的端口映射会绕过ufw,所以管理端口的防护放在 Compose 层——Prometheus / Grafana / Alertmanager 一律只绑定127.0.0.1主机:SSH 仅密钥登录、禁用 root 登录;
fail2ban自动封禁暴力破解来源;启用自动安全更新(仅安装安全补丁)应用:WordPress 登录接口限流(超限返回 429)、禁用
xmlrpc.php、上传目录禁止执行 PHP、关闭后台文件编辑(DISALLOW_FILE_EDIT)、收紧wp-config.php权限监控面板:Nginx Basic Auth + Grafana 登录双重保护;禁止注册、禁止匿名访问
容器:非 root 运行;敏感目录只读挂载;
mem_limit限制内存;cAdvisor 使用privileged属明确取舍(不映射端口、--docker_only缩小采集范围、profiles 控制启停)日志与磁盘:Docker 日志轮转(10m × 3)、Nginx 日志 logrotate、journald 容量上限——防止日志写满磁盘
凭据:
.env、alertmanager/alertmanager.yml、nginx/.htpasswd一律不入库(见.gitignore);数据库密码经MYSQL_PWD传递,不出现在命令行与进程列表部署链路:CI 校验服务器指纹防中间人;部署脚本禁用
git clean,保护未跟踪的敏感文件
