一、这一篇在处理什么
这一篇只处理一件事:在香港运行的在线娱乐平台,使用维科云的SDK 盾时,如何处理「登录令牌过期后重试风暴」。
令牌过期,所有接口同时返回未登录,客户端又同时刷新令牌,刷新接口被打满。
看刷新令牌接口的瞬时 QPS 和失败后的重试次数。
二、香港的网络和高峰
交易和晚间活动重叠时最忙,白天也有稳定流量。到华南和东南亚都近,常被当成回源点。回源集中在香港时,香港出口会先满。
排查时:分开看「用户到香港」和「香港到源站」。前一段慢是调度问题,后一段慢是回源问题。
不要这样做:所有地区都回源到香港。离香港远的用户会在回源这一段变慢。
三、在线娱乐平台要分开的路径
登录、房间列表、下单和静态皮肤要分域。下单接口不能按 URL 缓存。
防护边界:挑战和限速只覆盖被刷的动态路径。首页皮肤、规则页被误拦时,用户会认为整站不可用。
验证:用两个账号连续访问同一页面,确认不会看到对方的余额或昵称。再用一次失败提交确认不会重复扣款。
四、SDK 盾怎么接
App 里的登录、下单等关键请求走 SDK 隧道,图片和安装包仍走 CDN。服务端校验时间窗、随机数和签名,不把源站地址写进客户端包。隧道失败时可以降级,但降级必须打点,不能静默改去连源站 IP。
产品说明见SDK 盾。只改和「登录令牌过期后重试风暴」有关的域名或路径,不要把在线娱乐平台的其他路径一起改掉。
五、排查步骤
下面五步按因果顺序执行,后一步依赖前一步的结果。步骤针对「登录令牌过期后重试风暴」,不是一套通用清单。
- 只统计登录、房间列表、下单和皮肤域名。下单接口单独成列,不能和皮肤放在一起。 把「用户到香港」和「香港到源站」分成两段计时。 这一故障在本步要完成的事:确认业务失败码是令牌过期,而不是签名错误。
- 皮肤和规则页保持可访问。限速和挑战只允许出现在被刷的下单或登录路径上。 前一段慢就处理调度,后一段慢就处理回源。不要两段用同一个动作。 这一故障在本步要完成的事:整个进程只允许一个刷新请求在飞。
- 下单接口设为不缓存。若这一步需要拦截,只拦下单路径,首页皮肤继续放行。 其他地区若都回源到香港,先把远地区的回源移走,避免香港出口被挤满。 这一故障在本步要完成的事:其他请求等待这次刷新的结果。
- 在源站只限制下单路径的并发。不要因为下单异常把皮肤域名也回源。 回源调整完成前,不要用重启香港源站来掩盖排队。 这一故障在本步要完成的事:刷新失败后统一回到登录页,不要每个接口各刷一次。
- 用两个账号各下一单:页面不能出现对方的余额或昵称,失败重试不能产生第二笔扣款。 分别从香港本地和另一个远地区复测这两段时间。 这一故障在本步要完成的事:服务端对同一用户的刷新做频率限制。
六、处理办法
- 刷新要加锁。
- 过期时间不要卡在整点。
- 刷新接口单独限流。
改完后在香港的用户网络上复查,不要只在机房内网看。复查时带上在线娱乐平台的验证:用两个账号连续访问同一页面,确认不会看到对方的余额或昵称。再用一次失败提交确认不会重复扣款。
七、案例
晚八点大量令牌同时过期,刷新接口先超时,客户端又各自重试。改成进程内只刷新一次后,峰值下降到用户数规模。
若同样的现象出现在香港,额外核对:分开看「用户到香港」和「香港到源站」。前一段慢是调度问题,后一段慢是回源问题。
业务侧核对:登录、房间列表、下单和静态皮肤要分域。下单接口不能按 URL 缓存。
这个案例只说明怎么定位,不构成容量或可用性承诺。
八、常见问题
问:为什么不是每个请求都刷新?
答:并行刷新会互相作废对方刚拿到的令牌。
问:提前刷新有用吗?
答:有用。在过期前的随机时间刷新,避免整点同时过期。
问:刷新失败还要重试业务请求吗?
答:不要。先重新登录。
问:同一故障换一个地区或一种业务,排查还一样吗?
答:不一样。每一步都先按在线娱乐平台的路径处理,再按香港的网络条件收窄,最后才做「登录令牌过期后重试风暴」这一故障本身的动作。换地区或换业务,前两段操作就会变。
九、边界
只讨论SDK 盾在「登录令牌过期后重试风暴」上的处理,地区范围是香港,业务范围是在线娱乐平台。请遵守当地法律。维科云提供网络能力,不对客户业务内容负责。