一、这一篇在处理什么
这一篇只处理一件事:在美国西海岸运行的竞技类游戏,使用维科云的高防 CDN时,如何处理「热点 URL 回源带宽打满」。
少数大对象在缓存过期的同一时刻一起回源,源站出口瞬间被打满,其他小文件一起变慢。
看单一 URL 的回源带宽占源站出口的比例。
二、美国西海岸的网络和高峰
当地晚间对应亚洲的白天。和亚洲站共用一套高峰预案时,两边会抢同一批容量。用户到美西边缘近,但若源站在亚洲,回源跨太平洋。未缓存的动态请求会把这段距离暴露出来。
排查时:分别看边缘命中和回源耗时。命中高而用户仍慢,问题在用户到边缘;命中低而回源慢,问题在跨洋回源。
不要这样做:只在亚洲时间看美西监控。美西的忙时不在亚洲的忙时。
三、竞技类游戏要分开的路径
对局心跳、匹配和补丁下载必须分开。心跳走长连接,补丁走可缓存的大文件。
防护边界:不要对心跳使用会打断连接的挑战页。补丁域名可以严格限速,对局通道不行。
验证:在补丁下载的同时开一局匹配,确认下载没有把对局通道堵住。断线后应能续传补丁,而不是重新对局。
四、高防 CDN怎么接
公网只解析到 CDN 的 CNAME,源站安全组只放行回源网段。静态域名使用较长缓存时间,登录、下单和支付接口单独 Bypass,不与图片域名共用缓存键。清洗策略按 Host 分开:活动页可以更严,API 要按路径放行正常的高频轮询。
产品说明见高防 CDN。只改和「热点 URL 回源带宽打满」有关的域名或路径,不要把竞技类游戏的其他路径一起改掉。
五、排查步骤
下面五步按因果顺序执行,后一步依赖前一步的结果。步骤针对「热点 URL 回源带宽打满」,不是一套通用清单。
- 心跳、匹配和补丁下载分成三列。补丁的字节数不要算进心跳的失败率。 按美西当地晚间看容量,不要和亚洲高峰共用一个阈值。 这一故障在本步要完成的事:按 URL 对回源字节排序,确认是不是少数对象占了大部分回源。
- 心跳保持长连接,禁止对心跳弹出挑战页。补丁域名可以单独限速。 边缘命中高但仍慢,查用户到美西边缘;命中低且回源慢,查跨太平洋回源。 这一故障在本步要完成的事:检查这些对象的缓存时间是否相同,导致同时过期。
- 补丁启用分段缓存。匹配接口保持不缓存,避免把队列结果缓存给下一个人。 能缓存的请求先提高命中,不要先加大跨洋带宽。 这一故障在本步要完成的事:给热点对象加长 TTL,并为过期时刻加随机抖动。
- 源站优先保证心跳和匹配。补丁回源放到独立连接里,避免占满对局通道。 动态请求若必须回亚洲,只把这类请求留在跨洋路径上。 这一故障在本步要完成的事:开启分片回源,避免一个大文件占满整条回源连接。
- 边下补丁边发起一次匹配。补丁中断后应能续传,匹配通道不能因此断开。 在美西当地晚间复测。用亚洲白天的监控判断美西,不算完成。 这一故障在本步要完成的事:高峰前预热排行榜上的对象,避开过期与活动开始重合。
六、处理办法
- 安装包和视频切片使用独立缓存时间。
- 源站对单连接回源做限速,把突发留在边缘。
- 活动页引用的对象提前刷新,而不是等用户第一次访问。
改完后在美国西海岸的用户网络上复查,不要只在机房内网看。复查时带上竞技类游戏的验证:在补丁下载的同时开一局匹配,确认下载没有把对局通道堵住。断线后应能续传补丁,而不是重新对局。
七、案例
一次版本发布让同一个安装包在所有节点同时过期。源站出口被这一个文件占满。拉长 TTL 并错开过期后,发布窗口不再拖垮接口。
若同样的现象出现在美国西海岸,额外核对:分别看边缘命中和回源耗时。命中高而用户仍慢,问题在用户到边缘;命中低而回源慢,问题在跨洋回源。
业务侧核对:对局心跳、匹配和补丁下载必须分开。心跳走长连接,补丁走可缓存的大文件。
这个案例只说明怎么定位,不构成容量或可用性承诺。
八、常见问题
问:边缘有缓存为什么还会回源?
答:对象过期、缓存被挤出,或请求带了不能命中的参数。
问:预热会不会把源站打挂?
答:会,如果并发预热同一个大文件。应限速、分批。
问:分片回源适合什么?
答:大文件和断点续传。小接口没有必要。
问:同一故障换一个地区或一种业务,排查还一样吗?
答:不一样。每一步都先按竞技类游戏的路径处理,再按美国西海岸的网络条件收窄,最后才做「热点 URL 回源带宽打满」这一故障本身的动作。换地区或换业务,前两段操作就会变。
九、边界
只讨论高防 CDN在「热点 URL 回源带宽打满」上的处理,地区范围是美国西海岸,业务范围是竞技类游戏。请遵守当地法律。维科云提供网络能力,不对客户业务内容负责。