关于项目——ops-project · 云上运维实践

关于项目

ops-project · 云上运维实践:WordPress + 全栈监控 + 自动备份 + CI/CD

一个按生产标准搭建、并持续维护的运维实践项目:在单台云服务器(Ubuntu 24.04)上,用 Docker Compose 编排 WordPress 博客(Nginx + PHP-FPM + MySQL),配套完整的 监控告警、备份恢复 与 CI/CD 自动部署回滚 体系。

入口地址
业务站点https://blog.ddgmm.top
监控面板https://monitor.ddgmm.top(Nginx Basic Auth + Grafana 登录双重保护)
源码地址https://github.com/ddgmma/ops-project

工程重点

  • 看得见故障:主机 / 容器 / 站点三层监控;blackbox 拨测以“用户视角”验证站点可用性,覆盖“主机指标全绿、网站却打不开”的盲区

  • 数据丢得起:备份对“成功”有严格定义(完整性校验 + 结束标记);失败、未执行、监控链路断开都会触发邮件告警;恢复流程经过真实验证

  • 上线出不了事:部署前预校验(compose / nginx / Prometheus),部署后健康检查,失败自动回滚到最近一次健康版本

  • 攻击面够小:仅 80/443 对外,管理组件全部只监听 127.0.0.1;敏感配置一律不入库

架构总览

监控栈(–profile monitoring)
业务栈(默认启动)
blog.ddgmm.top
monitor.ddgmm.top
fastcgi :9000
proxy_pass + Basic Auth
mysql :3306
查询指标
推送告警
SMTP 邮件
prometheus :9090
grafana :3000
alertmanager :9093
node-exporter
cadvisor
blackbox-exporter
nginx · 80/443
反向代理 + HTTPS 终止
wordpress:6-fpm
mysql:8.0
Internet
QQ 邮箱

端口暴露原则:宿主机只对外开放 80/443(Nginx)。Prometheus(9090)、Grafana(3000)、Alertmanager(9093)一律只监听 127.0.0.1,Grafana 通过 Nginx 反代对外;Prometheus / Alertmanager 无认证,需通过 SSH 隧道访问。

技术栈

用途镜像版本
服务器系统Ubuntu24.04 LTS
容器引擎Docker CE + Compose v2—
Web 入口 / 反向代理nginx:stablev1.30.5
应用(WordPress)wordpress:6-fpmPHP 8.3.31
数据库mysql:8.0v8.0.46
主机指标prom/node-exporterv1.10.2
容器指标ghcr.io/google/cadvisorv0.60.5
站点拨测prom/blackbox-exporterv0.26.0
指标存储 / 告警判断prom/prometheusv3.5.0
告警分发prom/alertmanagerv0.28.0
可视化grafana/grafanav12.3.1
证书certbot + Let's Encrypt90 天自动续期
备份bash + cron + 腾讯云 COS每日自动
流水线GitHub Actions自动部署 + 回滚

目录结构

监控体系

采集层次

层次组件内容
主机node-exporterCPU、内存、磁盘、负载、textfile 自定义指标(备份状态)
容器cAdvisor每个容器的 CPU / 内存 / 重启次数
站点blackbox-exporter拨测 https://blog.ddgmm.top 与 /wp-login.php(可用性、响应时间、证书有效期)
自监控Prometheus up 指标所有抓取目标是否存活

Grafana 侧导入社区面板:Node Exporter Full(1860)、Docker 容器监控(193)与 Blackbox 拨测面板。

告警规则(prometheus/rules/alerts.yml)

  • 主机(host.rules):CPU > 85%、内存 > 85%、磁盘 > 80%、磁盘 4 小时内写满预测、可用内存 < 10%、15 分钟负载过高

  • 采集(scrape.rules):TargetDown(up == 0,抓取目标不可达)

  • 容器(container.rules):业务容器数量不足、内存接近限额 85%、10 分钟内发生过重启

  • 业务(business.rules):SiteDown、SiteSlow(> 5s)、证书 14 天内过期、证书已过期

  • 备份(backup.rules):备份失败、超 26 小时未执行、备份指标缺失(监控链路断了)

告警分发(Alertmanager)

  • 邮件通道(QQ SMTP 465),按 alertname + instance 分组,避免告警风暴刷屏

  • critical 走快速通道:group_wait: 10s、repeat_interval: 2h;普通告警 30s / 4h

  • 恢复时也发「已恢复」邮件(send_resolved)

  • 抑制规则:磁盘「将写满」时抑制「使用率 80%」;站点「完全不可访问」时抑制「响应缓慢」

备份与恢复

备份设计

内容脚本关键点
MySQL 数据库backup_mysql.shmysqldump --single-transaction;set -o pipefail 避免「管道最后一环 gzip 成功 → 误报备份成功」;校验 gzip 完整性、文件大小、Dump completed 结束标记
wp_data 文件卷backup_files.sh临时 alpine 容器只读挂载卷打包;校验 tar 完整性、文件大小、包内含 wp-content

两者共同特性:

  • 防并发:flock 锁,上次没跑完本次直接跳过

  • 保留与异地:本地保留 7 天;可选同步腾讯云 COS 异地副本(3-2-1 原则,安装 coscmd 后自动启用)

  • 状态上报:结果写入 /var/lib/node_exporter/textfile/*.prom,由 node-exporter 暴露为指标,失败可触发告警邮件

  • 目标:RPO ≈ 24 小时(每日全量);RTO ≈ 10 分钟(脚本化恢复)

恢复

恢复流程内置保护:先校验备份文件完整性 → 自动对当前状态做一次快照(后悔药)→ 停 WordPress → 恢复 → 起服务 → 站点可用性验证。

恢复能力经过真实验证:误删数据、DROP DATABASE 整库重建、文件卷(图片)丢失三类场景均完成完整恢复,并用数据量前后对比确认结果。

CI/CD(GitHub Actions)

push 到 main(忽略 **.md / docs/** 等文档改动)或网页手动触发后:

通过
失败
GitHub Actions
SSH 连接服务器
deploy.sh
预校验
compose config / nginx -t / promtool
部署前数据库备份
docker compose up -d
健康检查
容器 healthy + 站点 curl
最长 120 秒
记录 last_good_commit
回滚到最近一次健康版本
并报告失败
  • 健康检查失败会自动回滚到 logs/last_good_commit(记录最近一次健康成功的版本,避免在故障版本上原地打转)

  • 预校验不通过时直接终止,线上服务零影响

  • 部署过程加 flock 锁,同一时间只允许一个部署;CI 端 concurrency 同样限制

需要在仓库配置 5 个 Secrets:SSH_HOST、SSH_USER、SSH_PORT、SSH_KEY、SSH_FINGERPRINT。其中指纹用于校验服务器身份、防止中间人攻击,注意应使用 ECDSA 指纹(appleboy/ssh-action 对 ED25519 指纹存在已知的校验问题,会误报 mismatch)。

安全设计要点

按“纵深防御”分层设计:

  • 网络边界:云防火墙仅放行 22/80/443,系统侧 ufw 兜底。注意 Docker 的端口映射会绕过 ufw,所以管理端口的防护放在 Compose 层——Prometheus / Grafana / Alertmanager 一律只绑定 127.0.0.1

  • 主机:SSH 仅密钥登录、禁用 root 登录;fail2ban 自动封禁暴力破解来源;启用自动安全更新(仅安装安全补丁)

  • 应用:WordPress 登录接口限流(超限返回 429)、禁用 xmlrpc.php、上传目录禁止执行 PHP、关闭后台文件编辑(DISALLOW_FILE_EDIT)、收紧 wp-config.php 权限

  • 监控面板:Nginx Basic Auth + Grafana 登录双重保护;禁止注册、禁止匿名访问

  • 容器:非 root 运行;敏感目录只读挂载;mem_limit 限制内存;cAdvisor 使用 privileged 属明确取舍(不映射端口、--docker_only 缩小采集范围、profiles 控制启停)

  • 日志与磁盘:Docker 日志轮转(10m × 3)、Nginx 日志 logrotate、journald 容量上限——防止日志写满磁盘

  • 凭据:.env、alertmanager/alertmanager.yml、nginx/.htpasswd 一律不入库(见 .gitignore);数据库密码经 MYSQL_PWD 传递,不出现在命令行与进程列表

  • 部署链路:CI 校验服务器指纹防中间人;部署脚本禁用 git clean,保护未跟踪的敏感文件

发表回复

Your email address will not be published. Required fields are marked *.

*
*