1.
总体架构与运维前准备
说明:先确认集群拓扑(前端LB、WAF、高防IP、后端节点、数据库、存储)。操作步骤:a) 导出拓扑文档(draw.io或Visio),b) 列出所有公网/内网IP、端口和ASN,c) 在运维仓库(Git)建立inventory与运行手册,d) 配置SSH密钥、ansible inventory和cron备份策略。
2.
部署与配置高防策略(香港节点)
说明:与高防提供商确认清洗阈值与BGP策略。操作步骤:a) 在控制台开启清洗并设定阈值(pps/bps)—例如:清洗阈值设为200Kpps或10Gbps;b) 配置黑白名单IP、Geo-block、协议白名单;c) 配置源站回源端口与真实IP头(X-Forwarded-For);d) 测试:模拟小流量攻击(流量发生器)并观察清洗触发日志。
3.
日常监控项与阈值设置
说明:必须监控网络、CPU、内存、磁盘、连接数与应用层健康。操作步骤:a) 部署Prometheus + Node Exporter + Blackbox exporter;b) 为Prometheus写规则:CPU>80% 5m、DISK>75%、TCP_CONN>20000;c) Grafana建立仪表盘并将阈值告警通过Alertmanager转发到钉钉/Slack/企业微信;d) 配置心跳探针(每30s)到关键端口。
4.
日志与流量审计
说明:集中化日志利于溯源。步骤:a) 配置rsyslog/Fluentd收集syslog、nginx/access、WAF日志到ELK/Opensearch;b) 建索引和保留策略(热7天、冷30天、归档365天);c) 建立常见攻击KPI查询(单IP请求速率、URI异常、POST体大小);d) 每天自动生成异常报告,周报汇总给安全负责人。
5.
自动化脚本与常用命令
说明:常备脚本提高响应速度。步骤:a) 编写流量排查脚本:tcpdump -n -i eth0 'tcp' -c 10000 -w /tmp/trace.pcap;b) 连接监控:ss -tunap | grep :80; netstat -anp | grep ESTAB;c) 黑名单下发脚本(示例iptables):iptables -I INPUT -s x.x.x.x -j DROP,并同步到ansible playbook;d) 自动化健康切换脚本:检查HTTP 200,否则通过API从LB下线节点。
6.
突发DDoS响应流程(步骤化)
说明:一旦触发告警迅速执行。步骤:1) 确认:查看流量曲线与access日志定位源IP/ASN;2) 临时缓解:在高防控制台开启全清洗或应用DDOS防护策略;3) 细化:添加黑名单/速率限制、Geo-block;4) 源站保护:在Nginx层加限速(limit_req、limit_conn)、开启缓存;5) 恢复:逐步放开限流,观察48小时日志。
7.
链路与节点故障切换步骤
说明:遇到链路中断或节点失联的标准流程。步骤:a) 立即对故障节点执行健康检查(ping/traceroute/tcping);b) 若节点不可达,利用LB或DNS(低TTL)将流量切走到备用节点;c) 在控制台或BGP路由器上启用备用公网IP或做blackholing由运营商协助;d) 故障排查完成后,按顺序回滚并观测。
8.
恢复与事后分析(RCA)
说明:每次事件结束要做总结。步骤:a) 导出时间段内PCAP、WAF日志、系统指标;b) 用ELK/grep定位攻击签名,确认攻击向量;c) 撰写RCA文档(原因、影响、处置步骤、改进项),并更新Playbook与Runbook;d) 根据RCA调整阈值与脚本。
9.
定期演练与权限管理
说明:演练能暴露流程漏洞。步骤:a) 每季度做一次故障演练(流量切换、节点下线、DB只读切换);b) 审计SSH/控制台权限,使用堡垒机记录会话;c) 定期轮换密钥与API凭证,使用最小权限原则;d) 维护值班表和应急联系方式。
10.
问:在香港集群服遇到短时突发流量峰值,第一步具体应该做什么?
答:第一步立即查看高防控制台与Prometheus流量面板,确认流量是否已超阈并触发清洗;同时在控制台临时开启全清洗或提升清洗阈值,快速保护源站。然后在本地执行tcpdump抓包,筛选高频IP并下发临时黑名单,最后通知值班和上报安全负责人。
11.
问:如何在不影响正常用户的情况下实施限流与封堵?
答:优先使用分层限流:在高防层做宽泛的速率限制与Geo-block;在边缘(CDN/WAF)用URI/用户代理白名单和准确的rate-limit;在源站用慢启动和基于会话的限流(如limit_req zone结合动态黑名单),并逐步回退观察。
12.
问:运维团队应准备哪些自动化工具以缩短响应时间?
答:建议准备Prometheus+Alertmanager、Grafana、ELK/Opensearch、Ansible自动化剧本、堡垒机、流量抓取脚本(tcpdump), 以及一套可通过API控制高防和LB的脚本,这些工具能把人为操作时间压到最低并保证可重复性。
来源:香港集群服高防服务器运维要点 日常监控与突发响应指南