速率限制

Q: 默认并发限制是多少?怎么提升?

A:

  • 默认配额:QPS=[X],QPM=[X],日 Token=[X]

  • 提升方式:

    1. 控制台 → 「帮助与工单」→ 「申请提额工单」→ 填写需求 → 审核(通常 24 小时内)

    2. 企业客户可联系客户经理定制配额

    3. 紧急需求可联系技术支持临时扩容

Q: 怎么做高可用架构?

A: 建议:

  1. 主备切换:配置主/备接入地址,主地址异常时自动切换

  2. 指数退避重试:遇到 429/500 时,按 1s→2s→4s→8s 间隔重试,最多 3 次

  3. 请求队列:高并发场景使用消息队列(如 RabbitMQ/Kafka)削峰

  4. 多 Key 轮询:创建多个 API Key,负载均衡分散请求

  5. 超时控制:设置合理超时(建议 60~120s),避免线程阻塞

  6. 监控告警:监控成功率、延迟、Token 消耗,异常时及时告警

Q: 支持批量调用(Batch API)吗?

A: 支持。适用于离线、非实时的大批量任务:

  • 提交 JSONL 格式的任务文件

  • 平台异步处理,通常 24 小时内完成

  • 价格约为实时调用的 50%

  • 控制台 → 「批量任务」→ 上传文件 → 查看进度和结果

适合数据标注、批量内容生成、测试评估等场景。