怡
怡途科技
客户案例
博客
AI课堂
关于我们
  1. 首页
  2. 博客
  3. #故障转移
返回博客

#故障转移

共 2 篇相关文章

400 错误跨 3 个 key 各烧一遍 token?扒一下 llm-proxy 的错误分类和重试策略
产品文档

400 错误跨 3 个 key 各烧一遍 token?扒一下 llm-proxy 的错误分类和重试策略

同一份请求,3 个 API key 排队 400 失败 3 次才告诉你请求体有问题,白白消耗 3 份 token。429 限流时又密集轮询 3 个 key 把上游打爆。扒 model-router.service.ts:classifyError 把上游错误分成 9 类,bad_request 硬拦截不重试、rate_limit 走 1/2/4s 阶梯 + provider 停用 60s 起指数封顶 5 分钟,以及为什么 billing_error 要整组停用而不是只换一个 key。

2026年8月27日47 分钟
多 key 多模型怎么优雅地轮流试:LLM 供应商故障转移是怎么实现的
产品文档

多 key 多模型怎么优雅地轮流试:LLM 供应商故障转移是怎么实现的

把同一个请求在 3 个 key 之间轮询、遇到特定错误跳过熔断、整组限流就停 30s——这套机制是 LLM 代理的「心脏」。源码解读 + 你自己的代理可以怎么照搬。

2026年8月23日32 分钟
怡
怡途科技

企业级AI数据分析、智能体管理与智能客服平台

产品

  • 怡途AI数据分析平台
  • 怡途Claw
  • 定价
  • 产品对比

解决方案

  • 数据分析
  • AI Agent部署
  • 企业方案
  • 金融行业
  • 零售行业
  • 政企行业
  • 教育行业
  • 制造行业

公司

  • 关于我们
  • 客户案例
  • 新闻中心
  • 博客
  • AI课堂
  • AI术语表
  • 常见问题
  • 联系我们

法律

  • 隐私政策
  • 服务条款

© 2026 怡途科技. 保留所有权利。

隐私政策服务条款滇ICP备18004357号-1