月之暗面:3月20日以来Kimi流量增加趋势远超预期 导致SaaS客户体验异常
3月21日电,月之暗面发布情况说明:从2024.3.209:30:00开始,我们观测到Kimi的系统流量持续异常增高,流量增加的趋势远超我们对资源的预期规划。这导致了从2024.3.20 10:00:00开始,有较多的SaaS客户持续的体验到429:engine is overloaded的异常问题,对此我们深表抱歉。做为一家以技术为导向的公司,我们非常理解一个API的稳定性是能否投入实际生产的最关键因素之一,已经有多项应急措施正在实施,包括不限于:从3.20观测到流量异常增高后,已经进行了5次扩容工作。推理资源会持续配合流量进行扩容,以尽量承载持续增长的用户量;设计了一套更有效的SaaS流量优先级策略,以保障付费用户的调用稳定,预计3.25之前完成并上线。