Q: 默认并发限制是多少?怎么提升?
A:
默认配额:QPS=[X],QPM=[X],日 Token=[X]
提升方式:
控制台 → 「帮助与工单」→ 「申请提额工单」→ 填写需求 → 审核(通常 24 小时内)
企业客户可联系客户经理定制配额
紧急需求可联系技术支持临时扩容
Q: 怎么做高可用架构?
A: 建议:
主备切换:配置主/备接入地址,主地址异常时自动切换
指数退避重试:遇到 429/500 时,按 1s→2s→4s→8s 间隔重试,最多 3 次
请求队列:高并发场景使用消息队列(如 RabbitMQ/Kafka)削峰
多 Key 轮询:创建多个 API Key,负载均衡分散请求
超时控制:设置合理超时(建议 60~120s),避免线程阻塞
监控告警:监控成功率、延迟、Token 消耗,异常时及时告警
Q: 支持批量调用(Batch API)吗?
A: 支持。适用于离线、非实时的大批量任务:
提交 JSONL 格式的任务文件
平台异步处理,通常 24 小时内完成
价格约为实时调用的 50%
控制台 → 「批量任务」→ 上传文件 → 查看进度和结果
适合数据标注、批量内容生成、测试评估等场景。
