跳到正文
AIHOT ↗· OpenRouter:Announcements(RSS)·· 22 天前AI 评分75

OpenRouter 重建默认路由算法:TTFT 降低 16.9%、429 减少 46%

OpenRouter 重建默认路由算法:TTFT 降 16.9%、429 错误减少 67%

AI 导读

OpenRouter 重建默认路由算法,按实际价格、延迟、吞吐、错误率和响应质量实时选择服务商,用户无需修改代码。实验覆盖一周内 2400 万次请求和 103B input tokens,TTFT p50 降低 16.9%,吞吐提高 16.3%,命中至少一次 429 的请求减少 46%,每次请求成本增加 6.0%。新算法会在服务商异常时转移流量,并继续支持按价格、吞吐或延迟排序以及指定服务商顺序。

来源:AIHOT · openrouter.ai