OpenRouter 重建默认路由算法:TTFT 降低 16.9%、429 减少 46%
OpenRouter 重建默认路由算法:TTFT 降 16.9%、429 错误减少 67%
AI 导读
OpenRouter 重建默认路由算法,按实际价格、延迟、吞吐、错误率和响应质量实时选择服务商,用户无需修改代码。实验覆盖一周内 2400 万次请求和 103B input tokens,TTFT p50 降低 16.9%,吞吐提高 16.3%,命中至少一次 429 的请求减少 46%,每次请求成本增加 6.0%。新算法会在服务商异常时转移流量,并继续支持按价格、吞吐或延迟排序以及指定服务商顺序。
来源:AIHOT · openrouter.ai